当前位置: 首页 > 科技观察

可以让照片中的人物动起来唱歌!这个AI黑科技被破解了

时间:2023-03-14 14:21:26 科技观察

最近如果经常浏览视频网站,你可能会发现一些很魔幻但很感人的东西,具体来说就是各种角色,比如孙悟空,蒙娜丽莎啊,他们都开始唱歌了,就像下面这样video:  这个视频不可能是原片,明显是经过处理的。那么这个视频是怎么做出来的呢?  其实它使用的是一个开源AI项目“Yanderify”。这是一个神奇的项目,可以将视频和照片结合起来,让照片像视频的脸一样动起来,就像Yanderify项目页面上的这个动画演示的那样。  从左到右分别是原图、原视频和合成视频。那么Yanderify是如何工作的呢?今天就来告诉我们吧!  首先,Yanderify是一个基于Python的项目,我们需要先安装Python。点击下方链接进入Python官网,下载并安装。  Python官网:https://www.python.org  如果你的操作系统是64位的,最好下载64位的Python。以Windows系统为例,Python官网的下载按钮可能会默认提供32位的安装包。这时候可以进入下载-Windows页面,找到64位的安装包进行下载。  接下来,转到Yanderify的GitHub页面。  Yanderify:https://github.com/dunnousername/yanderifier  找到“Release”链接并下载最新的Zip包。  Yanderify无需安装即可运行,解压后双击“启动Yanderify”。  运行“开始Yanderify”  Yanderify的界面非常简单,一个命令行窗口+一个简洁的GUI。我们只需要选择一个图片素材和一个视频素材,然后设置输出路径即可。此外,Yanderify有一些硬件要求。  Yanderify支持N卡GPU加速,但需要GTX750以上型号,显存2G以上;如果使用A卡,Yanderify不能使用GPU加速,需要勾选“UseCPU”选项。  Yanderify的界面  选择视频或照片作为素材  在素材的选择上,注意不要选择太高清的图片和视频,否则软件可能会崩溃。  点击“开始”,Yanderify会开始合成素材。但是如果你是第一次使用Yanderify,它会先下载两个文件。这两个文件的下载速度比较慢,所以这里贴出这两个文件的下载地址,大家可以使用下载工具下载。  第一次使用需要下载两个文件,比较慢  https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth  https://www.adrianbulat.com/downloads下载完/python-fan4-11f355bf06.pth.tar  后,关闭Yanderify,将这两个文件放到如下目录。  C:\Users\用户名\.torch\models  可以手动下载这两个文件,放到对应的文件夹  然后启动Yanderify,就可以正常使用了。  Synthesizing...  到这里,合成就完成了  Yanderify的效果是什么?作者简单合成了一个小视频,仅供大家参考。。。  原图&合成  好了,教程到此结束。这个AI的原理是利用机器学习来识别视频和图像的面部运动,然后根据视频将图片处理成动画。  如果你觉得好玩,就自己试试吧,恶作剧你的朋友很好玩,但不要用它来传播虚假信息!