本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。“这太疯狂了!”“18个月前,训练NeRF需要5个小时……”“2个月前,训练NeRF需要5分钟!”“现在,训练NeRF只用了5秒!!??”究竟发生了什么?这让谷歌研究科学家感到惊讶。(插播之前流行的NeRF模型:Berkeley&Google联合打造,几张静态图片生成3D逼真效果)而且还有很多类似的评论~介绍这个技术的博文也很火爆,不到几万就收获了一天。竖起大拇指。事实证明,这是Nvidia的最新技术——基于多分辨率哈希编码的即时神经图元。训练一个狐狸NeRF模型只需要5秒!而且不仅训练NeRF,该技术在其他任务上也取得了惊人的训练速度。实现了几个数量级的组合加速。能够在几秒钟内训练出高质量的神经图元,并在几十毫秒内渲染出分辨率为1920x1080的图形。在单GPU上实现多任务实时训练先看效果。你在实验室里头晕吗?这是iPhone视频训练5分钟的360度实时渲染效果~还有一张34张真实照片想重建的3D图像~除了NeRF,还有3个neurographicprimitives的实现。GigapixelImage作者还友情提示,网络是从头开始训练的,一眨眼就可能错过。每个案例都使用tiny-cuda-nn框架进行训练和渲染,并且该实验在RTX3090上进行了测试。由全连接网络参数化的神经图原语的训练和评估成本很高。本文使用通用的新输入编码来降低成本。这种编码允许在不牺牲质量的情况下使用较小的网络,从而大大减少了浮点数和内存访问次数。具体来说,一个小型神经网络通过可训练特征向量的多分辨率哈希表得到扩充。这些特征向量的值通过随机梯度下降进行优化。换句话说,这种编码是任务无关的。研究团队表示,他们对所有任务都使用了相同的案例和超参数,只是改变了哈希表的大小。目前该项目已经开源,感兴趣的朋友可以点击下方链接~GitHub链接:https://github.com/NVlabs/instant-ngp论文链接:https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf项目链接:https://nvlabs.github.io/instant-ngp/
