广告
科学新闻
来自研究机构

超越深度造假:自动将视频内容转换为另一个视频的风格

应用包括电影制作、自动驾驶汽车、VR内容

日期:
2018年9月11日
来源:
卡耐基梅隆大学
简介:
研究人员发明了一种方法,可以自动将一个视频的内容转换为另一个视频的风格,从而可以将喜剧演员约翰·奥利弗的面部表情转换为卡通人物的面部表情,或者让水仙花像木槿一样开花。
分享:
广告

完整的故事

卡内基梅隆大学(Carnegie Mellon University)的研究人员发明了一种方法,可以自动将一个视频的内容转换为另一个视频的风格,从而可以将喜剧演员约翰·奥利弗(John Oliver)的面部表情转换为卡通人物的面部表情,或者让水仙花像芙蓉花一样开花。

由于数据驱动的方法不需要人工干预,它可以快速转换大量视频,使其成为电影制作的福音。它还可以用于将黑白电影转换为彩色电影,并为虚拟现实体验创建内容。

“我认为有很多故事可以讲述,”CMU机器人研究所的博士生Aayush Bansal说。他解释说,电影制作是他帮助设计这种方法的主要动机,使电影的制作速度更快,成本更低。“对于艺术家来说,这是一个工具,可以给他们一个初始模型,然后他们可以改进,”他补充说。

班萨尔承认,这项技术也有可能用于所谓的“深度伪造”视频,即在未经允许的情况下插入一个人的图像,使这个人看起来做了或说了一些不符合他性格的事情。

他说:“这让我们在这个领域的所有人都大开眼界,这样的赝品会被制造出来,并产生如此大的影响。”“找到检测它们的方法将是前进的重要一步。”

Bansal将于今天在慕尼黑举行的ECCV 2018(欧洲计算机视觉会议)上展示该方法。他的合著者包括CMU机器人副教授Deva Ramanan。

将内容从一个视频转移到另一个视频的风格依赖于人工智能。爱博网投官方网站特别是,一类被称为生成对抗网络(GANs)的算法使计算机更容易理解如何将一幅图像的风格应用于另一幅图像,特别是当它们没有经过仔细匹配时。

在GAN中,创建了两个模型:学习检测与图像或视频风格一致的判别器和学习如何创建匹配特定风格的图像或视频的生成器。当两者相互竞争时——生成器试图欺骗鉴别器,而鉴别器则对生成器的有效性进行评分——系统最终会学会如何将内容转换成某种风格。

一种叫做cycle-GAN的变体完成了这个循环,就像把英语演讲翻译成西班牙语,然后把西班牙语再翻译成英语,然后评估两次翻译后的演讲是否仍然有意义。利用循环gan分析图像的空间特征已被证明可以有效地将一幅图像转换为另一幅图像的风格。

这种空间方法在视频中仍然存在一些不足之处,在整个翻译周期中会出现不必要的人工制品和缺陷。为了缓解这个问题,研究人员开发了一种名为Recycle-GAN的技术,它不仅包含空间信息,还包含时间信息。这些额外的信息,考虑到随着时间的变化,进一步限制了过程并产生了更好的结果。

研究人员表示,回收gan可以用来将奥利弗的视频转换成喜剧演员斯蒂芬·科尔伯特的样子,然后再转换回奥利弗的样子。或者约翰·奥利弗的脸的视频可以变成一个卡通人物。回收gan不仅可以复制面部表情,还可以复制表演的动作和节奏。

这种效果并不局限于面部,甚至身体。研究人员证明,一朵盛开的花的视频可以用来操纵其他类型的花的图像。或者,在刮风的日子里,快速穿过天空的云可以被放慢速度,让天气看起来更平静。

班萨尔说,这种效应可能有助于开发可以在夜间或恶劣天气下行驶的自动驾驶汽车。他解释说,获取夜景或暴风雨天气的视频是很困难的,因为这些视频可以识别和标记物体。另一方面,Recycle-GAN可以将容易获得和标记的白天场景转换为夜间或暴风雨场景,提供可用于训练汽车在这些条件下运行的图像。

广告

故事来源:

材料所提供的卡耐基梅隆大学.拜伦·斯派斯原创。注:内容可能会根据风格和长度进行编辑。


引用此页

卡内基梅隆大学。“超越深度造假:自动将视频内容转换为另一种视频风格:应用包括电影制作、自动驾驶汽车、VR内容。”《科学日报》。科学日报,2018年9月11日。< www.koonmotors.com/releases/2018/09/180911083145.htm >。
卡内基梅隆大学。(2018年9月11日)超越深度造假:自动将视频内容转换为另一种视频风格:应用包括电影制作、自动驾驶汽车、VR内容。《科学日报》.2023年6月22日检索自www.koonmotors.com/releases/2018/09/180911083145.htm
卡内基梅隆大学。“超越深度造假:自动将视频内容转换为另一种视频风格:应用包括电影制作、自动驾驶汽车、VR内容。”《科学日报》。www.koonmotors.com/releases/2018/09/180911083145.htm(2023年6月22日访问)。

探索更多的
从科学日报

有关的故事

广告