原标题:视频换脸新境界:CMU不仅给人类变脸,还能给花草、天气变脸 | ECCV
2018

铜灵 发自 凹非寺

晓查 发自 凹非寺

圆栗子 发自 凹非寺

量子位 出品| 公众号 QbitAI

量子位 报道 | 公众号 QbitAI

图片 1

CycleGAN,一个可以将一张图像的特征迁移到另一张图像的酷算法,此前可以完成马变斑马、冬天变夏天、苹果变桔子等一颗赛艇的效果。

图片 2

把一段视频里的面部动作,移植到另一段视频的主角脸上。

图片 3

输入一张女性的照片,就能得到果体照,一件脱衣的DeepNude火了。但也因为面临巨大的道德争议,这款软件的开发者选择了将它下架。

大家可能已经习惯这样的操作了。

这行被顶会ICCV收录的研究自提出后,就为图形学等领域的技术人员所用,甚至还成为不少艺术家用来创作的工具。

而且DeepNude本身也不开源,我们只能从开发者零星的介绍中知道,它用到了pix2pix。

图片 4

图片 5

在巨大的求知欲驱动下,来自四川大学计算机学院在读硕士袁宵在自己的GitHub探究了DeepNude背后原理,研究图像生成和图像修复相关的技术和论文。

就算目标主角并不是人类,大概也算不上精彩。眼睛鼻子嘴,至少零件齐全

也是目前大火的“换脸”技术的老前辈了。

据他的分析,其实DeepNude只是“站在巨人的肩上”,里面用到的技术都是近两年CV领域的重大研究成果,而且都已经开源。

那么,怎样的迁移才可走出这个框框,让这个星球上的万物,都有机会领取视频改造的恩泽?

图片 6

当然,作者本身对这项技术是持批判态度的。

图片 7

如果你还没学会这项厉害的研究,那这次一定要抓紧上车了。

原理

按着你想要的节奏开花:中老年表情包利器

现在,TensorFlow开始手把手教你,在TensorFlow 2.0中CycleGAN实现大法。

DeepNude主要使用了2018年发表的文章《Image Inpainting for Irregular Holes
Using Partial Convolutions》中提出的图像到图像技术。

来自卡耐基梅隆大学的团队,开发了自动变身技巧,不论是花花草草,还是万千气象,都能自如转换。

这个官方教程贴几天内收获了满满人气,获得了Google
AI工程师、哥伦比亚大学数据科学研究所Josh Gordon的推荐,推特上已近600赞。

它可以把简笔画变成色彩丰富的图像,感兴趣的同学可以去Demo网站在浏览器中试玩。

图片 8

图片 9

图片 10

云,也变得急切了

有国外网友称赞太棒,表示很高兴看到TensorFlow
2.0教程中涵盖了最先进的模型。

具体来说,DeepNude主要使用了计算机视觉领域的3项技术。

或许是怀着超越大前辈Cycle-GAN(来自朱俊彦团队)
的意味,团队给自家的GAN起了个非常环保的名字,叫Recycle-GAN

这份教程全面详细,想学CycleGAN不能错过这个:

1、图像修复

这位选手,入选了ECCV 2018

详细内容

即上面提到的文章,这是来自英伟达Guilin Liu等人的团队在2018年发表的研究。

Recycle之道,时间知道

在TensorFlow 2.0中实现CycleGAN,只要7个步骤就可以了。

当画面被严重涂抹后,模型仍然能够恢复出“原来”的图像,可以说是“毫无PS痕迹”。

Recycle-GAN,是一只无监督学习的AI。

1、设置输入Pipeline

图片 11

不成对的二维图像数据,来训练视频重定向(Video Retargeting)
并不容易:

安装tensorflow_examples包,用于导入生成器和鉴别器。

Image
Inpainting除了能修复受损的图像,还能去掉图像中的某些物品,比如把草地中的石头涂抹一下,恢复的后图片中不再有石头。

一是,如果没有成对数据,那在视频变身的优化上,给的限制就不够,容易产生不良局部极小值
(Bad Local Minima) 而影响生成效果。

!pip install -q git+

图片 12DeepNude用它除掉了图片里的衣服。”
style=”width:60%;margin:1rem auto”>

二是,只依靠二维图像的空间信息,要学习视频的风格就很困难。

2、输入pipeline

{“type”:1,”value”:”2、Pix2Pix

图片 13

在这个教程中,我们主要学习马到斑马的图像转换,如果想寻找类似的数据集,可以前往:

这是加州大学伯克利分校在2017年发表的文章,使用条件对抗网络作为图像到图像转换问题的通用解决方案。

你开花,我就开花

从语义分割到原图、从黑白到彩色、补全简笔画等等,Pix2Pix几乎无所不能。

针对这两个问题,CMU团队提出的方法,是利用时间信息(Temporal
Information) 来施加更多的限制,不良局部极小值的现象会减少。

在CycleGAN论文中也提到,将随机抖动和镜像应用到训练集中,这是避免过度拟合的图像增强技术。

3、CycleGAN

网站地图xml地图