了解 AI 研究项目如何在数秒内帮助艺术家等用户用 2D 图像打造 3D 体验。
编者注：本文属于《解码 AI》系列栏目，该系列的目的是让技术更加简单易懂，从而解密 AI，同时向 RTX PC 用户展示全新硬件、软件、工具和加速特性。
想象一幅风光旖旎的画面，比如水畔的悬崖峭壁。即便只是 2D 图像，如此美景依旧令人心驰神往。如果同一画面能以 3D 效果展现，那么无需跋涉就能身临其境。
NVIDIA RTX 技术驱动的 AI 恰恰能让我们得偿所愿。创作者运用 Instant NeRF 便能在短短数秒之间将多组静态图像变为 3D 数字场景。
简单好用的辐射场
AI 模型 NeRF 全称为“神经辐射场”，可通过输入表现某个场景的 2D 图像并在其间执行插值，渲染完整的 3D 场景。NeRF 以神经网络的形式运行，后者是一种复制大脑组织形式的模型，常用于需要模式识别的任务。
NeRF 在运用空间位置和体积渲染的基础上，通过图像的相机位姿对场景的 3D 迭代进行渲染。这类模型的计算量往往很大，因此对渲染能力的要求很高，耗时也较久。
NVIDIA 近日的 AI 研究项目带来了破局之策。
Instant NeRF 使 NeRF 全面升级：通过 AI 加速的逆渲染，对光的现实表现形式进行估计，帮助研究人员运用从不同角度拍摄的 2D 图像构建 3D 场景。现在只需几秒即可生成场景，而且 3D 渲染成品的精细程度与 NeRF 模型的训练时长成正比。
在 2022 年的 SIGGRAPH 计算机图形会议上，NVIDIA 的研究人员发布了四个神经图形基础样例（以及预训练数据集，均属于 Instant-NGP 训练工具集）。人们可以借此用自己的数据创建 NeRF。这些研究人员凭借该项成果获得了最佳论文奖，《时代》周刊也将 Instant NeRF 评为了 2022 年度最佳发明。
Instant NeRF 不仅能够加快 NeRF 渲染，还可通过 NVIDIA RTX 和 GeForce RTX 台式电脑和笔记本电脑的 GPU 完成整个图像重建过程。虽然场景渲染时长取决于数据集规模、图像和视频源内容等多种因素，但 AI 训练并不需要服务器级或基于云的硬件。
NVIDIA RTX 工作站和 GeForce RTX PC 是满足 NeRF 渲染计算需求的理想之选。NVIDIA RTX 和 GeForce RTX GPU 配备专用的 AI 硬件加速器 Tensor Core，可为在本地运行生成式 AI 提供强大动力。
各就各位，整装待发，强势出击
开启 Instant NeRF 探索之旅，了解辐射场并以全新方式体验画面之美。
开发者和技术发烧友可以下载源代码库进行编译。非技术用户也可以从 GitHub 上下载 Instant-NGP 软件的 Windows 安装程序。
虽然此安装程序适用于多种 RTX GPU，但拥有最新架构的 GeForce RTX 40 系列和 NVIDIA RTX Ada Generation GPU 才能充分发挥它的实力。
https://images.nvidia.cn/cn/youtube-replicates/3TWxO1PftMc.mp4
《Instant NeRF 入门》指南在介绍功能的同时，也将引导用户完成全程操作，包括加载“NeRF Fox”等单个基础样例，以便了解可实现的效果。详细说明和类似上文的视频演示针对如何使用自定义数据创建 NeRF 进行了讲解，包括获取优质输入图像的方式、基于源代码编译代码库的技巧等。该指南也针对 Instant NeRF 图形用户界面的使用、场景参数优化、基于场景创建动画等内容进行了说明。
此外，NeRF 社区也分享了很多帮助用户入门的技巧和窍门，例如下方的直播和这篇技术博文。
https://images.nvidia.cn/cn/youtube-replicates/z3-fjYzd0BA.mp4
展示与讲述
数字艺术家运用 NVIDIA Instant NeRF 创作赏心悦目的场景，讲述耳目一新的故事。Instant NeRF 图库展示的视频片段都是独出心裁且引人入胜的典型范例，在任何网络浏览器上都能观看。
其中包括：
Through the Looking Glass，作者：Karen X. Cheng 和 James Perlman
一位钢琴家如往常一样正在练琴，但随后的画面却打破了平凡的日常。观众凝视着镜中的虚拟世界，只可远观却无法进入其中。除非采用非常手段，否则无法踏入一步。当观众跨过入口就会发现，这面镜子其实是一扇窗，连接着一个颠倒的现实世界，可以进入其中探索。哪边的世界才是真的呢？
https://blogs.nvidia.cn/wp-content/uploads/2024/04/studio-ai-decoded-karenx-v9-1280x680-1.mp4
Meditation，作者：Franc Lucent
Nico Santucci 的宅邸中有很多房间，当 Lucent 一行人走进其中一间之时，他就决定用那里构建 NeRF。编辑池塘的动态范围和反射引领这位艺术家踏上了未知的探索之旅。他们喜欢那种柔光和 NeRF 为房间营造梦幻氛围的方式，为冥想开辟了一片理想空间。与照片或视频相比，NeRF 定格的瞬间在沉浸感方面更胜一筹。
https://blogs.nvidia.cn/wp-content/uploads/2024/04/studio-ai-decoded-franc-lucent-meditation-1280x680-1.mp4
Zeus，作者：Hugues Bruyère
Bruyère 此前通过传统摄影测量（包括使用无反数码相机、智能手机、360 度相机和无人机）获得的数据是 Instant NeRF 渲染这些 3D 场景的基础。在 Instant NeRF 强大性能的加持之下，他通过在线图书馆、博物馆、虚拟现实体验和遗产保护项目等渠道参与文化遗产的保护和分享。这一 NeRF 是用 iPhone 拍摄的皇家安大略博物馆的照片数据集训练而成的。
https://blogs.nvidia.cn/wp-content/uploads/2024/04/studio-ai-decoded-hugues-zeus-1280x680-1.mp4
图像、视频、现实的层层递进
借助 AI 将图像变为 3D 场景已令人惊叹，但更神奇的是进行 3D 创作。
从 Instant NeRF 的一项最近更新开始，用户可以基于静态图像进行场景渲染，模拟置身虚拟环境之中，在 3D 空间里自由移动。用户只要在虚拟现实 (VR) 环境中戴上头显设备，就将完全置身新的世界，感受身临其境的体验。
其中蕴藏的潜力几乎是无穷无尽的。
举例而言，房屋中介可以创建并分享 3D 房产模型，升级虚拟看房体验；零售商可以通过一组图像和 RTX GPU 上运行的 AI 在网店中展示产品。这些 AI 模型能驱动创造力，让其他行业也能利用身临其境的 3D 体验。
使用 Instant NeRF 即可在 VR 中轻松清理场景，降低了高品质 NeRF 的创建难度。点击了解有关在 VR 中应用 Instant NeRF 空间的更多信息。
下载 Instant-NGP 开始创作之旅。您可在社交媒体上添加 #InstantNeRF 标签来发布作品。
生成式 AI 正改变各类游戏、视频会议和互动体验。请订阅《解码 AI》时事通讯，我们每周都会将新鲜资讯直接投递到您的收件箱。
