CVPR 2018:阿里提出应用 LocalizedGAN 进行半监督训练

阿里巴巴
城市大脑机器视觉研究组
编辑:江磊
【新智元导读】
GAN自诞生以来吸引了众多相关的研究,并在理论、算法和应用方面取得了很多重大的突破。我们试图从一个全新的几何角度,用
局部的
观点建立一种与之前经典GAN模型所采用的
整体方法
不同的理论和模型,并以此建立和半监督机器学习中Laplace-Beltrami算子的联系,使之不再局限于传统的图模型(Graph)方法,并在用少量标注样本训练深度学习模型上取得了优异的性能;同时我们还展示了如果用Localized GAN (LGAN)对给定图像在局部坐标系下进行编辑修改,从而获得具有不同角度、姿态和风格的新图像;我们还将进一步揭示如何从流型切向量独立性的角度来解释和解决GAN的mode collapse问题。
该工作由UCF齐国君教授领导的UCF MAPLE 实验室(Machine Perception and Learning)和阿里巴巴华先胜博士领导的城市大脑机器视觉研究组合作完成,并将发表在CVPR 2018上。

Guo-Jun Qi, LihengZhang, Hao Hu, Marzieh Edraki, Jingdong Wang and Xian-Sheng Hua. Global versusLocalized Generative Adversarial Nets, in CVPR 2018. [pdf]
GAN和基于图模型的半监督机器学习的关系
GAN除了用来生成数据,我们认为一个非常重要作用是:我们第一次有了一个比较理想的工具,可以用来表示和描述数据流型(manifold)。之前,如果我们想表示流型,一般是借助于一个图模型(Graph)。在图模型里,我们用节点表示数据点,用边表示数据直接的相似性。有了Graph,我们可以定量计算数据点上函数的变化。比如,在分类问题中,我们感兴趣的函数是分类函数,输出的是数据点的标签。有了基于Graph的流型,我们就可以建立一个分类模型:
它输出的分类标签在相似样本上具有最小的变化。
这个就是一种平滑性的假设,是基于图的半监督方法的核心假设。

尽管这种基于图的半监督方法取得了很大的成功,但是它的缺点也是很明显的。当数据点数量非常巨大的时候,构建这样一个Graph的代价会非常大。为了解决这个问题, Graph为我们提供了一个很好的基础。通过训练得到的生成器G(z),其实就是一个非常好的流型模型。这里z就是流型上的参数坐标,通过不断变化z,我们就可以在高维空间中划出一个流型结构。
有了这样一个流型和它的描述G,我们可以在数据流型上研究各种几何结构。比如切向量空间、曲率,进而去定义
在流型上,沿着各个切向量,函数会如何变化
等等。好了,这里GAN就和半监督学习联系起来了。以前我们是用Graph这种离散的结果去研究分类函数的变化,并通过最小化这种变化去得到平滑性假设。
现在,有了流型直接的参数化描述G(z),我们就能直接去刻画一个函数(比如分类问题中的分类器)在流型上的变化,进而去建立一个基于这种参数化流型的半监督分类理论,而非去借助基于图的流型模型。[page]分页标题[/page]
具体来说,半监督图流型中,我们常用到Laplacian矩阵来做训练;现在,有了参数化的流型后,我们就可以直接定义Laplace-Beltrami算子,从而实现半监督的训练。下面是基于这个方法在一些数据集上得到的结果。更多的结果可以参考我们的论文“Global versus Localized Generative Adversarial Networks“。

用全局还是局部坐标来研究GAN?
这里,有个比较精细的问题。通常的GAN模型,得到的是一个全局的参数话模型:我们只有一个z变量去参数化整个流型。事实上,在数学上,这种整体的参数化王是不存在的,比如我们无法用一个参数坐标去覆盖整个球面。这时我们往往要借助于通过若干个局部的坐标系去覆盖整个流型。
同时,使用局部坐标系的另一个更加实际的好处是,我们给定一个目标数据点x后,整体坐标系G(z)要求我们必须知道对应的一个参数坐标z;而使用局部坐标系后,我们就直接可以在x附近去建立一个局部坐标系G(x,z)去研究流型周围的几何结构,而不用去解一个逆问题去去它对应的z了。这个极大地方便了我们处理流型上不同数据点。

沿着这个思路,我们可以利用参数化的局部坐标和它表示的流型来研究一系列问题。
1.
比较理论的研究可以专注于,有了这些局部参数表示,如何去定义出一整套黎曼流型的数学结构,比如局部的曲率,黎曼度量,和如果沿着流型去算测地线和两个数据点之间的测地距离。
2. 从
应用的角度,给定了一个图像x,用局部表示G(x,z)可以对这个x在它的局部领域中做各种编辑操作或者控制图像的各种属性,
从而可以帮助我们生成想要的图像;比如不同角度的人脸、人体姿态、物体,甚至不同风格、表现不同情感的图像等等。这在安防、内容生成、虚拟现实等领域都会有广泛的应用前景。
从几何角度研究Mode collapse问题
当然,从几何和流型参数化的角度还可以给出对GAN更深入的理解,比如对
mode collapse
问题。在GAN的相关研究中,mode collapse是一个被广泛关注的问题。有很多相关的论文在从不同角度来研究和解决这个问题。
而基于Localized GAN所揭示的几何方法,我们可以从流型局部崩溃的角度来
解释和避免
GAN的modecollapse。具体来说,给定了一个z,当z发生变化的时候,对应的G(z)没有变化,那么在这个局部,GAN就发生了mode collapse,也就是不能产生不断连续变化的样本。这个现象从几何上来看,就是对应的流型在这个局部点处,沿着不同的切向量方向不再有变化。换言之,所有切向量不再彼此相互独立--某些切向量要么消失,要么相互之间变得线性相关,从而导致流型的维度在局部出现缺陷(dimensiondeficient)。
为了解决这个问题,最直接的是我们可以给流型的切向量加上一个正交约束(Orthonormalconstraint),从而避免这种局部的维度缺陷。下图是在CelebA 数据集上得到的结果。可以看到,通过对不同的切向量加上正交化的约束,我们可以在不同参数方向上成功地得到不同的变化。[page]分页标题[/page]

值得注意的是,尽管我们是从局部GAN的角度推导和实现了对切向量的正交化约束,
这个思路和方法同样适用于传统的整体GAN模型
。我们只需要在训练整体GAN模型的同时,在每个训练数据样本或者一个batch的子集上也加上这个约束来求取相应的下降梯度就同样可以训练整体GAN模型;这个方向可以引申出未来的相关工作
本文首发于微信公众号:新智元。文章内容属作者个人观点,不代表和讯网立场。投资者据此操作,风险请自担。

- AMD助力微软Windows 11 为用户带来强大、可靠的计算能力2021-10-09 16:20
- 游戏玩家为之疯狂!Chinajoy2021 AMD展台那些火爆的瞬间2021-08-02 15:39
- 全场最佳 AMD Chinajoy2021展台圆满收官2021-08-02 15:38
- AMD 锐龙5000G系列处理器正式亮相Chinajoy20212021-08-02 11:50
- 极速制胜 制霸游戏 AMD携多款游戏神器扬威Chinajoy2021-08-02 11:44
- 央视《新闻联播》头条聚焦铁建重工,聚力攻克“卡脖子”技术难题2021-03-22 11:08
- 刚刚!我又上央视新闻联播头条了!2021-03-22 11:04
- 中国电科(3月1日-3月7日)要闻回顾 | 资讯轻阅读2021-03-22 10:47
- 我国将建第一个国家公园:为何是三江源2021-03-22 10:43
- 美国硅谷上演“大逃亡”:郊区成科技精英避难所2021-03-22 10:41

- 15:55恩捷李晓明:多维度发力,逐鹿新能源材料领域新征程
- 15:11中国首部《癌因性厌食诊疗专家共识》发布,美适亚甲地孕酮口服混悬液获推荐
- 11:28恩捷李晓明:湖南恩捷亮相高峰论坛,展现固态电池领域实力与发展决心
- 10:57JJ 斗地主:以禁止赌博为原则,打造纯净游戏平台
- 10:01苏州稻香村牡丹鲜花饼焕新上市 颜值、口味全面升级!
- 16:27推出新一期股票激励计划,舍得酒业凝聚发展共识,着眼长远
- 08:45中创碳投发布《亚洲地区主要商业银行气候相关信息披露洞察(2024)》
- 08:33周大生经典“哇!故宫的二十四节气”绘就玉兰与春意的永恒诗篇
- 17:51寿山福海公建民营机构样板受瞩目,政企合作共促养老产业高质量发展
- 17:50寿山福海公建民营机构样板受瞩目,政企合作共促养老产业高质量发展
- 17:36复兴正当时!沱牌特级T68引领沱牌加快成为“名酒典范”
- 15:07恩捷李晓明:凭创新实力闪耀“2024新经济企业TOP500”榜单
- 16:55梵高《野玫瑰》与周大生梵高Van Gogh系列:艺术与情感的传承与升华
- 10:48JJ 斗地主:严守禁止赌博准则,全方位打造棋牌游戏健康新局面
- 16:15东方药林受邀参加“2025共筑满意消费3·15企业直播联盟”活动
- 15:54宜享花:科技赋能金融,助力民营经济高质量发展
- 14:37沈丘县开展“世界水日”“中国水周”主题宣传活动
- 15:06青花墨韵,周大生珠宝X国家宝藏联名系列以匠心传承风华传奇
- 14:38情感链接消费,燕京啤酒塑造多彩“空间”
- 14:02千年楚都要“出圈”! 2025年寿州礼物文创产品设计大赛上线啦!
- 13:583项全球第一!海尔AI空调只供用户“健康好空气”
- 16:06火象社区:专注培养年轻人的财经素养
- 15:37周大生艺术珠宝以匠心雕铸,点亮早春“杏”运
- 15:10寿山福海携手社区启动“爱心小屋”公益助老项目,开启政企联动公益新篇章
- 10:29全美带你看世界·奢享沉浸式海上假期——2025全美世界邮轮之旅
- 15:05恩捷股份李晓明:科技赋能,四登榜单,逐梦高质量发展之路
- 14:45周大生经典以东方·青花系列为媒,演绎女性的优雅与力量
- 12:36以人为本,重新发现 | 「重新发现中国」邀请函
- 10:51JJ 斗地主:牢牢坚守禁止赌博要求,全力塑造棋牌游戏健康新风貌
- 17:39东方药林药业有限公司:从本土到全球,开启大健康领域的璀璨蝶变


