跳动百科

新的AI成像工具允许对3D图片进行交互式2D操作

澹台诚才
导读 来自马克斯普朗克信息学研究所,麻省理工学院,谷歌和宾夕法尼亚大学的计算机科学家团队开发了一种新的AI成像工具,用于对照片中描绘的3D图

来自马克斯普朗克信息学研究所,麻省理工学院,谷歌和宾夕法尼亚大学的计算机科学家团队开发了一种新的AI成像工具,用于对照片中描绘的3D图像进行用户交互式2D处理。该团队在arXiv预印本服务器上发表了一篇描述新工具的论文,称为DragGAN,以及描述该工具可以做什么的短视频。

Photoshop 于 1980 年代后期首次发布,从那时起,它和类似的应用程序就被用于编辑照片。这种使用已经成为社交媒体的标准组成部分——人们在将图像发布到网上之前对其进行 photoshop 处理,以“改进”它们。在这项新的努力中,研究团队通过添加人工智能将图像编辑提升到一个全新的水平。

乍一看,DragGAN 看起来非常像任何其他图像处理工具。但是创意团队发布的视频澄清说,它能够做以前应用程序甚至无法实现的事情,允许用户即时更改想象中的3D图像。研究人员称这些结果为“幻觉闭塞内容”。

照片,就其本质而言,是二维的。以前的照片编辑工具允许在其他图像中进行模糊、着色甚至修补。但所有这些编辑都是基于用户的努力——用户必须指导色彩校正或模糊皱纹。基于人工智能的照片编辑工具,通过分析数千或数百万张其他图像来识别特征,可以推断图片的缺失部分可能是什么样子,并在此基础上在用户提示下进行更改。

例如,在一个视频中,可以更改一张愤怒的人的照片,以显示同一个人微笑 - 只需单击和拖动即可完成所有操作。这个人的脸也可以转动,露出原始照片中从未捕捉到的头部部分。同样,只需点击几下和拖动,汽车、动物或景观就可以彻底改变。将AI添加到照片编辑中为该类别增加了一个全新的维度 - 可以像Photoshop首次推出时一样引起轰动。