AI画师，技术又进步了——就一句话/一张图，生成3D模型，环绕视频,NeRF实例。还是彩色的。输入“一幅美丽的花木画，作者青岛千穗，长镜头，超现实主义”，瞬间就能得到一个这样的花草视频，时长13秒。这个文字/图片-3D生成的AI，叫做Dreamfields-3D，来自一位自称是编程菜鸟的建筑学博士生。demo刚刚被小弟发布在微博、推特等平台，不少网友已经迫不及待想要做内测了：现在小弟已经开源了，也可以在colab上运行了。开始玩吧~AI绘画3D版畅玩梦境——3D在线玩，门槛非常低，只需三步。以下是在colab上在线玩游戏的步骤。首先，检查GPU，然后安装谷歌驱动器。第二步，调出工具开始运行，安装依赖。然后定义一些必要的函数，然后就可以在colab上进行训练和测试了。播放时需要输入一些参数。有两种保存格式：视频和网格。输出模型格式为obj并带有顶点颜色。一切准备就绪，现在就开始吧。尝试输入“赛博朋克风格的霓虹飞车、GregRutkowski和SimonStalin风格、长镜头、CG社会、虚幻引擎、史诗游戏”？你会得到一个看起来像网络的汽车的视频。如果你是《千与千寻》的铁杆粉丝，想玩吉卜力风格的视频。没问题，提示输入“美丽的天空之城插画，吉卜力工作室，艺术站，8k高清，CG社团”，来了——有网友迫不及待上手，做了一台小电脑。当然，在鹅妹的惊叹中，也有网友表示希望梦境-3D越做越好。当然，除了文字输入，Dreamfield3D还支持图片作为提示。但是，当前版本仍然需要改进。如果输入一张图片，就会造成过拟合。简单的说，如果你给它喂一个汽车的正面图，在生成的3D视频中，汽车可能有四个前脸。。。想玩图片输入的朋友，恐怕要等一会了更长。基于现状，小弟在GitHub上表达了未来的改进目标：同时使用不同的CLIP模型。仅在指定方向应用图像提示。以后可能需要对图片的角度进行约束。例如，只有当输入图片具有相同的角度时，输出才会参考图片。读取现有网格作为NeRF实例，然后通过文本/图像提示修改它。减少训练期间GPURAM的使用。（不过小哥说自己是编程菜鸟，后续不保证。）doge基于GoogleDreamfields-Torch。弟弟是建筑师。据他说，Dreamfield3D是他从创作者的角度对Dreamfield-Torch做的事情。为了优化，主要的代码工作仍然来自于上游的Dreamfields-Torch和Dreamfields。介绍一下，Dreamfields来自谷歌。它的特点是可以生成没有照片样本的3D图像，可以在一个简单的句子中生成由多个项目组成的复合结构。生成3D场景时，通常会选择神经辐射场(NeRF)参数方案。NeRF的特点是可以单独渲染场景，但是需要很多3D照片才能实现°视觉重建。相比之下，Dreamfields不需要照片来生成3D模型，因为它是基于NeRF3D场景技术、OpenAI文本生成模型DALLE和CLIP的3D生成系统开发的，通过神经网络存储3D模型。DALL·E和CLIP也来自谷歌。前者通过文本生成图像，后者通过文本对图像进行分类。使用CLIP对DALL·E生成的图像进行分类可以提高图像生成的准确率。Dreamfields-Torch是Dreamfields修改后的Pytorch实现，主要是将原来Dreamfields的后端从原来的NeRR换成了instant-ngp。基于此，我哥做的Dreamfields-3D基本靠CLIP+NERF。关于作者作者SimonMeng是奥地利因斯布鲁克大学(UIBK)的建筑学博士生。他毕业于伦敦大学学院（UCL），获得建筑学硕士学位。目前担任UIBK和UCL技术课程的助教和特邀审稿人，从事建筑设计、艺术、AI和生物学的跨学科研究。小哥从去年六七月份开始关注AI图像生成。他发现很多破圈技术，比如clipguidediffusion、discodiffusion，都是懂代码的跨界者做的。去年年底，当谷歌发布Dreamfields时，他决定将其用于3D输出。于是，拿到动画后，他用AI做超采样和帧插值，然后将帧导出到常见的多眼重建软件（类似colmap），成功重建了网格（用3D模型数据还原的模型图）.小哥在推特上发布了网格，Dreamfields论文的原作者AjayJain联系上了他，欢迎他，并鼓励他不断优化更新——虽然当时他用的是普通的航拍实景重建软件，不是编程方法。上个月小弟基于Dreamfield-Torch做了一个colab版本，这个月在GitHub上开源了，大家可以尽情的玩。并且，现在这是基于Marchingcubes的新版船~GitHub地址：https://github.com/shengyu-meng/dreamfields-3Dcolab地址：https://colab.research.google。com/drive/1u5-zA330gbNGKVfXMW5e3cmllbfafNNB?usp=sharing#scrollTo=_VDLFG_gUEKa
