原标题:视频换脸新境界:CMU不仅给人类变脸,仍可以给花草、天气变脸 | ECCV
2018

原标题:用DensePose,教照片里的人学跳舞,系群体鬼畜 | ECCV 2018

圆栗子 发自 凹非寺

永利游戏网址 1

栗子 发自 凹非寺

永利游戏网址 2

腾讯AI Lab微信公众号明天公布了其首先条新闻,发表腾讯AI
Lab多篇论文入选即将揭幕的CVPR、ACL及ICML等世界级会议。

永利游戏网址 3

把一段录像里的人脸动作,移植到另一段录像的支柱脸孔。

在AI科学和技术大本营公众号会话中输入“腾讯”,打包下载腾讯AI
Lab入选CVPR、ACL及ICML的散文。

怎么让一个面朝镜头静止不动的小妹,跳起你为她选的翩翩起舞,把360度身姿周详呈现?

世家可能已经习惯那样的操作了。

腾讯AI实验室授权转发

Facebook团队,把承担感知的五人姿势识别模型DensePose,与顶住生成深度生成网络构成起来。

永利游戏网址 4

1. CVPR

IEEE Conference on Computer Vision and Pattern Recognition

IEEE国际总括机视觉与方式识别会议

7月21日 – 26日 | 美利坚联邦合众国塞班岛

CVPR是近十年来统计机视觉领域全世界最有影响力、内容最周密的超级学术会议,由满世界最大的非营利性专业技能学会IEEE(电气和电子工程师协会)主办。2017谷歌(谷歌)学术目标(GoogleScholar)按杂谈引用率名次,
CVPR位列总结机视觉领域杰出。今年CVPR审核了2620篇文章,最后选定783篇,录取率29%,口头报告录取率仅2.65%。

腾讯AI
Lab总计机视觉高管刘威学士介绍到,“CVPR的口头报告一般是当时超过的研商课题,在学术界和工业界都影响很大,每年都集齐如南洋地质学院和谷歌(Google)等天下最知名高校和科学技术集团。”

腾讯AI Lab六篇随想入选CVPR

论文一:Real Time Neural Style Transfer for Videos

本文用深度前向卷积神经网络探索视频艺术风格的飞快迁移,提议了一种全新两帧协同操练体制,能保证录像时域一致性并消除闪烁跳动瑕疵,确保视频风格迁移实时、高质、高效已毕。

* 此杂文后附详细解析

论文二:WSISA: Making Survival Prediction from Whole Slide
Histopathological Images

舆论首次提出一种全尺寸、无标注、基于病理图片的患儿生存有效预测方法WSISA,在肺炎和脑癌两类癌症的四个不同数据库上性能均大于基于小块图像情势,有力支撑大数据时代的精准个性化医疗。

论文三:SCA-CNN: Spatial and Channel-wise Attention in Convolutional
Networks for Image Captioning

针对图像描述生成职务,SCA-CNN基于卷积网络的多层特征来动态变化文书描述,进而建模文本生成进度中空间及通道上的注意力模型。

论文四:Deep Self-Taught Learning for Weakly Supervised Object
Localization

本文指出依靠检测器自身不断创新陶冶样本品质,不断增进检测器性能的一种崭新方法,破解弱监督对象检测问题中练习样本质料低的瓶颈。

论文五:Diverse Image Annotation

本文提议了一种新的机动图像标注目标,即用少量多样性标签表达尽量多的图像音信,该目的丰裕利用标签之间的语义关系,使得自动标注结果与人类标注更加类似。

论文六:Exploiting Symmetry and/or Manhattan Properties for 3D Object
Structure Estimation from Single and Multiple Images

据悉曼哈顿布局与对称音讯,文中指出了单张图像三维重建及多张图像Structure
from Motion三维重建的新措施。

CVPR重点杂谈解析

CVPR选中的六篇文章,大家将首要分析《视频的实时神经风格迁移》(Real-提姆e
Neural Style Transfer for Videos)[1]那篇颇具立异的稿子。

在过去很长一段时间内,业界流行的图像滤镜平常只是对全局颜色属性的调整,比如亮度、色相、饱和度等。在二零一六年的CVPR,Gatys等人[2]首创性地提议将深度神经网络应用于图像的艺术风格迁移,使得输入图像能够模拟如梵高的星空、莫奈的日出印象等其余类型的艺术风格,效果惊艳。

Gatys等人干活即使赢得了极度好的效劳,可是缺点是按照优化,非凡耗时;到2016
ECCV时,Johnson(Johnson)等人[3]提议了运用深度前向神经网络替代优化进程,完成了实时的图像风格迁移,修图工具Prisma随之风靡一时。但直接将图像风格迁移的点子运用到录像上,却会使得本来连贯的视频内容在不一致帧中转化为分化的作风,造成视频的闪耀跳动,严重影响观感体验。为掌握决闪烁问题,Ruder等人[4]进入了对时域一致性的考虑,提议了一种基于优化的录像艺术滤镜方法,但速度极慢远远达不到实时。

永利游戏网址 5

腾讯AI
Lab数学家利用深度前向卷积神经网络,探索录像艺术风格火速迁移的也许,提议了一种崭新的两帧协同陶冶体制,保持了录像时域一致性,消除了闪烁跳动瑕疵,同时保险视频风格迁移可以实时已毕,兼顾了录像风格转换的高质地与高效用。

视频艺术滤镜模型如下图所示。通过损失网络(Loss
Network)总计延续三个输入视频帧之间的损失来陶冶作风变换网络(Stylizing
Network)。其中空间损失(Spatial
Loss)同时描述了图像的情节损失以及风格损失;时间损失(Temporal
Loss)描述了七个作风变换后的视频帧之间的小时一致性。

永利游戏网址 6

小说相关随想

[1] Haozhi Huang, Hao Wang, Wenhan Luo, Lin Ma, Wenhao Jiang, Xiaolong
Zhu, Zhifeng Li, and Wei Liu. Real-Time Neural Style Transfer for
Videos. CVPR, 2017.

[2] L. A. Gatys, A. S. Ecker, and M. Bethge. Image style transfer
using convolutional neural networks. CVPR, 2016.

[3] J. Johnson, A. Alahi, and L. Fei-Fei. Perceptual losses for
real-time style transfer and super-resolution. ECCV, 2016.

[4] M. Ruder, A. Dosovitskiy, and T. Brox. Artistic style transfer for
videos. German Conference on Pattern Recognition, 2016.

不管是何人的感人姿势,都能附体到四妹身上,把她单一的静态,变成足够的动态。

永利游戏网址,就是目的主角并不是全人类,几乎也算不上美丽。眼睛鼻子嘴,至少组件齐全

2. ACL

Meetings of the Association for Computational Linguistics

国际总括机语言协会年会

3月30日 – 三月4日|加拿大尼科西亚

ACL是一个钱打二十四个结语言学里最要害的国际会议,今年是第55届。会议涵盖生物管理学、认知建模与思想语言学、交互式对话系统、机器翻译等种种领域,二〇一九年有194
篇长随想、107 篇短杂文、21 个软件演示及 21
篇大旨发言。在2017谷歌(Google)学术目的(谷歌 Scholar)按随想引用率名次,
ACL是总结机语言学和自然语言处理领域最高级别国际学术年会。

腾讯AI
Lab副负责人俞栋认为,「自然语言的知晓、表达、生成和更换平昔是自然语言处理的要旨问题。近日有很多新的化解思路和办法。今年的ACL涉及自然语言处理的各方面,尤其在语义分析、语义角色标注、基于语义和语法的自然语言生成、机器翻译和问答系统方向上都有一部分妙趣横生的干活。」

腾讯AI
LabCEO张潼介绍到,「ACL早期选拔语法和规则分析自然语言,90年代后,随着以LDC(Linguistic
Data
Consortium)为代表的自然语言数据集建立增添,统计自然语言方法在测算语言学里效率更是大并改为主流。2000年后随着互联网急迅发展及以自然语言为主干的人机交互格局兴起,自然语言切磋被授予极高应用价值。」

腾讯AI Lab三篇文章入选ACL

论文一:Modeling Source Syntax for Neural Machine Translation

正文指出将句法树转化为句法标签体系的轻量级方法,有效将源端句法音讯引入神经网络翻译系统,被证实能鲜明加强翻译效果。

论文二:Chunk-Based Bi-Scale Decoder for Neural Machine Translation

正文引入一个额外组块神经网络层,从组块到词的层次变化译文,扶助完结神经网络翻译系统短语级其余建模,实验表明该方法在多种语言上都能显然增强翻译效果。*
本文小编亦致谢前任职单位

论文三:Deep Pyramid Convolutional Neural Networks for Text
Categorization

小说提议了一种能管用表明文本长距离关系的复杂度词粒度CNN。本文研商了什么样深化词粒度CNN对文件进行全局表达,并找到了一种简单网络结构,通过增加网络深度进步准确度,但唯独多扩充计算量。实验注明15层的DPCNN在三个心境和宗旨分类职分上直达了脚下顶尖结果。

永利游戏网址 7

这就是说,怎么着的搬迁才可走出这一个局面,让这一个星球上的万物,都有空子领取录像改造的恩情?

3. ICML

International Conference on Machine Learning

国际机器学习大会

3月6日 – 11日|澳大瓦尔帕莱索伊斯坦布尔

机器学习是人造智能的宗旨技术,而ICML是机械学习最根本的多少个集会之一(另一个是NIPS)。ICML源于1980年在卡内基(卡内基(Carnegie))梅隆高校设立的机械学习切磋会,现由国际机器学习学会(IMLS)主办。2017谷歌学术目标以「机器学习」关键词名次,ICML位列第一。

腾讯AI
LabCEO张潼学士介绍到,「很多经典杂谈和算法,如CRF,都是在ICML上首次提出的,这么些会议涉及机械学习有关的所有琢磨,包含近年更加走俏的纵深学习、优化算法、总结模型和图模型等。在初期,ICML更敬重实验和运用,而NIPS更钟情模型和算法,但近年来三个会议有些趋同。」

腾讯AI Lab四篇作品入选ICML

论文一:Scaling Up Sparse Support Vector Machines by Simultaneous
Feature and Sample Reduction

本文提议了第四个能在模型陶冶早先前,同时检测和去除稀疏辅助向量机中不活跃样本和特性的筛选算法,并从理论和试验中表明其能不损失任何精度地把模型操练成效升高数个量级。

论文二:GSOS: Gauss-Seidel Operator Splitting Algorithm for Multi-Term
Nonsmooth Convex Composite Optimization

本文提议了求解多块非光滑复合凸优化问题的算子分歧新算法,该算法采纳Gauss-Seidel迭代以及算子分化的技巧处理不可分的非光滑正则项,并以实验求证了该算法的有效性。

论文三:Efficient Distributed Learning with Sparsity

本文提出了一个高维大数据中能更有效学习稀疏线性模型的分布式算法。在单个机器锻炼样本充裕多时,该算法只需一轮通讯就能读书出总计最优误差模型;即便单个机器样本不足,学习总括最优误差模型的通讯代价只随机器数量对数曲线上涨,而不借助于其余标准化数。

论文四:Projection-free Distributed Online Learning in Networks

本文提出了去中央化的分布式在线条件梯度算法。该算法将标准梯度的免投影特性推广到分布式在线场景,解决了价值观算法需要复杂的黑影操作问题,能便捷处理去主题化的流式数据。

腾讯AI
Lab于二〇一六年二月建立,专注于机器学习、计算机视觉、语音识别和自然语言了然五个世界「基础探究」,及内容、游戏、社交和平台工具型四大AI「应用探索」。腾讯AI
Lab主管及第一长官是机器学习和大数目大家张潼大学生(详情可点链接),副负责人及里昂实验室负责人是语音识别及深度学习专家俞栋大学生。近日企业有50余位AI物理学家及200多位应用工程师。

永利游戏网址 8

永利游戏网址 9

那项研讨成果,入选了ECCV 2018

永利游戏网址 10

自然不可以唯有DensePose

按着你想要的旋律开花:中老年神情包利器

团队把SMPL多人态度模型,跟DensePose重组到一块。那样一来,就可以用一个早熟的表面模型来领悟一张图纸。

源于卡耐基梅隆大学的集团,开发了电动变身技能,不论是花花草草,依然万千气象,都能自如转换。

这项商讨,是用基于表面的神经合成,是在闭环里渲染一张图像,生成各类新姿态。

永利游戏网址 11

永利游戏网址 12

云,也变得殷切了

左为源图像,中为源图姿势,右为目的姿势

莫不是满怀超过大前辈Cycle-GAN(来自朱俊彦公司)
的代表,团队给自身的GAN起了个十分环保的名字,叫Recycle-GAN

照片中人索要上学的舞姿,来自另一个人的肖像,或者录像截图。

这位选手,入选了ECCV 2018

DensePose系统,负责把两张照片涉嫌起来。具体方法是,在一个国有表面UV坐标系
(common 平板电脑 coordinates) 里,给两者之间做个映射

Recycle之道,时间了然

但如果偏偏按照几何来变化,又会因为DensePose采集数据不够准确,还有图像里的自身遮挡
(比如身体被手臂挡住) ,而显得不那么真实。

Recycle-GAN,是一只无监控学习的AI。

永利游戏网址 13

不成对的二维图像数据,来操练录像重定向(Video Retargeting)
并不易于:

DensePose提取的质料 (左) vs 修复后的质量 (右)

一是,若是没有成对数据,那在视频变身的优化上,给的限制就不够,简单生出不好局地极小值
(Bad Local Minima) 而影响生功效果。

那么,团队拍卖遮挡的章程是,在外表坐标系里,引入一个图像修复(Impainting)
网络。把这些网络的展望结果,和一个更传统的前馈条件和成模型臆想结合起来。

二是,只依靠二维图像的空间音讯,要上学视频的风格就很拮据。

这个预测是各自独立举行的,然后再用一个细化模块来优化预测结果。把重构损失对峙损失感知损失重组起来,优势互补,得出最后的浮动效果。

永利游戏网址 14

永利游戏网址 15

你开花,我就开放

一体化的网络布局,如同上图那般。

网站地图xml地图