当前位置: 首页 > 科技赋能

AI技术的新突破让2D绘图跳出纸面变成3D!

时间:2024-05-22 12:29:11 科技赋能

今天我要介绍的新技术是华盛顿大学博士生翁仲义和他的一些朋友,他们创造了一些真正令人惊讶的东西。

可能会给很多人一个大胆的想法。

因为2D图像变成了3D“活物”,它不再是魔法。

名为“Photo Wake-Up”的软件允许角色动画简单地“走出”静态图像帧,而不会在其后面留下一个洞。

研究结果发表在最近提交的一篇论文中。

它通过识别单张照片中的 2D 主题作为输入并创建该主题的 3D 动画版本来实现此目的。

然后,动画可以以 3D 形式“走、跑、坐或跳”。

它可以重新定义我们与照片互动的方式。

“我们相信这种方法不仅允许人们以新的方式查看照片并与之互动,而且还提出了从单个图像重建头像的方法。

如下图所示,效果令人惊叹,尽管有一些不和谐的地方。

可以看到篮球传奇人物史蒂芬·库里跳起来并慢跑出他的相框,而毕加索的一件超现实作品将自己从相框中切出,将相框留在后面。

为了实现这种效果,该软件需要一个静态框架来剪切。

研究人员过去曾尝试创建 2D 形状并围绕匹配的 3D 框架扭曲它,但结果好坏参半,翁中义的新方法增加了一个重要的新功能:它可以识别不同的身体部位,例如。

手臂和腿,并以与 2D 剪纸完全匹配的方式单独扭曲每个部分,用于增强现实,它可以重新定义我们下次参观艺术博物馆时与二维艺术互动的方式,无论是梅西 jpg。

、库里 png 或勒布朗詹姆斯 jpeg。

,还是希望新垣结衣.tiff和波多野结衣.raw能够“动起来”。

这项名为“照片唤醒”的新技术可以满足您的需求。

赋予二维角色更多力量,将钢铁侠带到您身边。

甚至抽象画也可以画。

毕加索的《玛雅和玩具船》中的主角可以像人一样走出去并移动四肢:你仍然可以做到。

这样就可以把角色变成AR/VR了。

只要动动手指,它们就能出现在你周围的世界里:无论是照片、卡通还是抽象人物,只要有一个人,照片唤醒技术就能唤醒他们体内沉睡的灵魂。

,让他们从二维世界中醒来。

有了这项技术,游戏和动画制作行业的设计师可能会非常高兴。

只需绘制一个 2D 角色,它就会自动变成 3D。

看完这些效果展示,你是不是觉得AI技术开发的拍照唤醒软件很神奇呢?确实,人工智能的神奇之处在于它结合了数据建模、算法和软件编程等多领域技术。

可以说,程序员好找,AI工程师却很难找。

这就是为什么人工智能工程师是稀缺人才。

那么,照片唤醒是如何工作的呢?给定一张照片作为输入(最左边),就会创建一个走向观看者(中间)的主题的 3D 动画版本。

3D 结果可以在增强现实中体验(右)。

在上面的结果中,用户通过 HoloLens 耳机虚拟地悬挂了艺术品,并且可以从不同的角度观看画作中的人物。