大数据抽象制作人：Caleb最近，ChatGPT可以说是火爆无比。11月30日，OpenAI发布了聊天机器人ChatGPT，并免费开放给公众测试，在国内得到了很好的发挥。与机器人对话就是让机器人执行某个命令，比如输入关键词让AI生成相应的画面。这似乎没有什么不寻常的。OpenAI不是在4月份更新了新版本的DALL-E吗？OpenAI，你几岁了？（为什么总是你？）如果DigestBacteria说生成的图像是3D图像、HDR全景图或基于VR的图像内容怎么办？最近，新加坡南洋理工大学的研究团队提出了这样一种人工智能。只要用户用文字输入描述清楚的场景，系统就可以生成逼真的3D场景。我们先来看看效果。比如输入“湖边的棕色木码头，白天被绿树环绕”，系统会给出这样的回答，光线和细节的效果直接满分。该研究已发表为Text2Light：零镜头文本驱动的HDR全景生成。论文链接：https://arxiv.org/abs/2209.09898无需训练，即可生成3DHDRIsHigh-qualityHDRI（highdynamicrangeimage），即HDR全景图，是目前创建逼真360度3D的热门方法对于场景。考虑到HDRI的捕捉难度，虽然有很多技术可以利用AI生成3D场景，但基本上都需要通过一系列的参数设置或者通过大量数据进行深度学习。因此，研究人员提出了一种零镜头文本驱动框架，即Text2Light，来生成4K+分辨率的HDRI，整个过程不需要相应的训练数据。生成HDRI的过程可以分为两个步骤。第一步，基于双码本的离散表示将输入文本翻译成LDR全景图。输入文本首先通过预训练的CLIP模型映射到文本嵌入；其次，文本条件全局采样器学习根据输入文本从全局码本中采样整体语义；然后，结构感知的本地采样器合成本地补丁，并进行合成。在第二步中，根据结构化潜在编码将第一阶段的LDR结果升级为连续表示。研究人员提出的超分辨率逆色调映射算子（SR-iTMO）可以同时提高全景图的空间分辨率和动态范围。因此，无需训练即可生成4K分辨率的HDRI，这也是迄今为止最先进的图像生成模型，清除了从LDR到HDR转换的不稳定性，并创建了一对全景图和文本供研究。不过该技术目前还处于早期研究阶段，只能制作低分辨率的360度环视影像内容，但研究团队未来计划对现有技术生成的环视影像进行升级，同时加入HDR图像增强效果，使生成的3D图像或VR场景的观看度更加流畅和吸引人。用文本驱动生成HDRI下面我们来看一些操作。先下载checkpoints，注意团队已经分别发布了室外（localsampleroutdoor）和室内（localsamplerindoor）场景的模型。从一句话生成HDR全景图：pythontext2light.py-rglogs/global_sampler_clip-rllogs/local_sampler_outdoor--outdir./generated_pa??norama--text"YOURSCENEDESCRIPTION"--clipclip_emb.npy--sritmo./logs/sritmo.pth--sr_factor4从系列文本描述生成HDR全景图：#假设您的文本存储在alt.txt中pythontext2light.py-rglogs/global_sampler_clip-rllogs/local_sampler_outdoor--outdir./generated_pa??norama--text./alt.txt--clipclip_emb.npy--sritmo./logs/sritmo.pth--sr_factor4生成低分辨率(512x1024)LDR全景图：#假设您的文本存储在alt.txtpythontext2light.py-rglogs/global_sampler_clip-rllogs/local_sampler_outdoor--outdir./generated_pa??norama--text./alt.txt--clipclip_emb.npy生成的HDR全景图可以直接用于任何现代图形。以3D计算机图形软件Blender中渲染旧金山风景为例。输入紫色和粉红色天空下山脉的风景摄影后，我们会得到这样一张图片：为了便于批处理，例如使用多个hdri进行渲染，也可以在命令行提供渲染3D的脚本。解压并查看Blender的使用情况：#假设你下载的版本是3.1.2tar-xzvfblender-3.1.2-linux-x64.tar.xzcdblender-3.1.2-linux-x64./blender--helpaddAlias:#PATH_TO_DOWNLOADED_BLENDER指示保存下载的blenderaliasblender="/PATH_TO_DOWNLOADED_BLENDER/blender-3.1.2-linux-x64/blender"的父目录然后返回Text2Light代码库并针对不同的渲染设置运行以下命令：blender--background--pythonrendering_shader_ball.py--./rendered_balls1001000PATH_TO_HDRI可以得到这样的结果：这个项目在GitHub上也是开源的：GitHub链接：https://github.com/FrozenBurning/Text2Light这个项目也得到了很多网友纷纷点赞。有网友感叹，“人类的想象力是没有边界的”。从这个趋势来看，我们离“输入文字3D打印实物”的时代已经不远了。也有网友表示，在试图进入“一间四层半的榻榻米房间，推拉门、推拉门、餐桌、14寸黑白电视、黑色电话”时，他们还是担心AI能否准确再现这一幕。.毕竟在想象中，“这应该是一个充满异国情调的房间”。您如何看待这种即时HDR全景的AI？也欢迎小伙伴们在评论区分享心得~相关报道：https://www.itmedia.co.jp/news/articles/2210/11/news036.html
