编者注:本文属于《解码 AI》系列栏目,该系列的目的是让技术更加简单易懂,从而解密 AI,同时向 RTXPC 用户展示全新硬件、软件、工具和加速特性。
想象一幅风光旖旎的画面,比如水畔的悬崖峭壁。即便只是2D图像,如此美景依旧令人心驰神往。如果同一画面能以3D效果展现,那么无需跋涉就能身临其境。
NVIDIARTX 技术驱动的AI恰恰能让我们得偿所愿。创作者运用 InstantNeRF 便能在短短数秒之间将多组静态图像变为3D数字场景。
简单好用的辐射场
AI模型NeRF全称为“神经辐射场”,可通过输入表现某个场景的2D图像并在其间执行插值,渲染完整的3D场景。NeRF以神经网络的形式运行,后者是一种复制大脑组织形式的模型,常用于需要模式识别的任务。
NeRF在运用空间位置和体积渲染的基础上,通过图像的相机位姿对场景的3D迭代进行渲染。这类模型的计算量往往很大,因此对渲染能力的要求很高,耗时也较久。
NVIDIA近日的AI研究项目带来了破局之策。
InstantNeRF 使NeRF全面升级:通过AI加速的逆渲染,对光的现实表现形式进行估计,帮助研究人员运用从不同角度拍摄的2D 图像构建3D场景。现在只需几秒即可生成场景,而且3D渲染成品的精细程度与NeRF模型的训练时长成正比。
在2022 年的SIGGRAPH计算机图形会议上,NVIDIA的研究人员发布了四个神经图形基础样例(以及预训练数据集,均属于 Instant-NGP 训练工具集)。人们可以借此用自己的数据创建NeRF。这些研究人员凭借该项成果获得了最佳论文奖,《时代》周刊也将InstantNeRF 评为了 2022年度最佳发明。
InstantNeRF 不仅能够加快NeRF渲染,还可通过NVIDIARTX 和GeForceRTX 台式电脑和笔记本电脑的GPU完成整个图像重建过程。虽然场景渲染时长取决于数据集规模、图像和视频源内容等多种因素,但AI训练并不需要服务器级或基于云的硬件。
NVIDIARTX 工作站和GeForceRTX PC 是满足NeRF渲染计算需求的理想之选。NVIDIARTX 和GeForceRTX GPU 配备专用的AI 硬件加速器TensorCore,可为在本地运行生成式AI提供强大动力。
各就各位,整装待发,强势出击
开启InstantNeRF 探索之旅,了解辐射场并以全新方式体验画面之美。
开发者和技术发烧友可以下载源代码库进行编译。非技术用户也可以从GitHub上下载 Instant-NGP软件的Windows安装程序。
虽然此安装程序适用于多种RTXGPU,但拥有最新架构的 GeForceRTX 40 系列和 NVIDIARTX Ada Generation GPU 才能充分发挥它的实力。
https://images.nvidia.cn/cn/youtube-replicates/3TWxO1PftMc.mp4
《InstantNeRF 入门》指南在介绍功能的同时,也将引导用户完成全程操作,包括加载“NeRFFox”等单个基础样例,以便了解可实现的效果。详细说明和类似上文的视频演示针对如何使用自定义数据创建NeRF进行了讲解,包括获取优质输入图像的方式、基于源代码编译代码库的技巧等。该指南也针对InstantNeRF 图形用户界面的使用、场景参数优化、基于场景创建动画等内容进行了说明。
此外,NeRF社区也分享了很多帮助用户入门的技巧和窍门,例如下方的直播和这篇技术博文。
https://images.nvidia.cn/cn/youtube-replicates/z3-fjYzd0BA.mp4
展示与讲述
数字艺术家运用NVIDIAInstant NeRF 创作赏心悦目的场景,讲述耳目一新的故事。InstantNeRF 图库展示的视频片段都是独出心裁且引人入胜的典型范例,在任何网络浏览器上都能观看。
其中包括:
Throughthe Looking Glass,作者:KarenX. Cheng 和JamesPerlman
一位钢琴家如往常一样正在练琴,但随后的画面却打破了平凡的日常。观众凝视着镜中的虚拟世界,只可远观却无法进入其中。除非采用非常手段,否则无法踏入一步。当观众跨过入口就会发现,这面镜子其实是一扇窗,连接着一个颠倒的现实世界,可以进入其中探索。哪边的世界才是真的呢?
https://blogs.nvidia.cn/wp-content/uploads/2024/04/studio-ai-decoded-karenx-v9-1280x680-1.mp4
Meditation,作者:FrancLucent
NicoSantucci 的宅邸中有很多房间,当Lucent一行人走进其中一间之时,他就决定用那里构建NeRF。编辑池塘的动态范围和反射引领这位艺术家踏上了未知的探索之旅。他们喜欢那种柔光和NeRF为房间营造梦幻氛围的方式,为冥想开辟了一片理想空间。与照片或视频相比,NeRF定格的瞬间在沉浸感方面更胜一筹。
https://blogs.nvidia.cn/wp-content/uploads/2024/04/studio-ai-decoded-franc-lucent-meditation-1280x680-1.mp4
Zeus,作者:HuguesBruyère
Bruyère此前通过传统摄影测量(包括使用无反数码相机、智能手机、360度相机和无人机)获得的数据是InstantNeRF 渲染这些3D场景的基础。在InstantNeRF 强大性能的加持之下,他通过在线图书馆、博物馆、虚拟现实体验和遗产保护项目等渠道参与文化遗产的保护和分享。这一NeRF 是用iPhone拍摄的皇家安大略博物馆的照片数据集训练而成的。
https://blogs.nvidia.cn/wp-content/uploads/2024/04/studio-ai-decoded-hugues-zeus-1280x680-1.mp4
图像、视频、现实的层层递进
借助AI 将图像变为3D场景已令人惊叹,但更神奇的是进行3D 创作。
从InstantNeRF 的一项最近更新开始,用户可以基于静态图像进行场景渲染,模拟置身虚拟环境之中,在3D空间里自由移动。用户只要在虚拟现实(VR)环境中戴上头显设备,就将完全置身新的世界,感受身临其境的体验。
其中蕴藏的潜力几乎是无穷无尽的。
举例而言,房屋中介可以创建并分享3D房产模型,升级虚拟看房体验;零售商可以通过一组图像和RTX GPU上运行的AI在网店中展示产品。这些AI模型能驱动创造力,让其他行业也能利用身临其境的3D 体验。
使用InstantNeRF 即可在VR中轻松清理场景,降低了高品质NeRF的创建难度。点击了解有关在VR中应用InstantNeRF 空间的更多信息。
下载Instant-NGP开始创作之旅。您可在社交媒体上添加#InstantNeRF标签来发布作品。
生成式AI正改变各类游戏、视频会议和互动体验。请订阅《解码AI》时事通讯,我们每周都会将新鲜资讯直接投递到您的收件箱。
本文属于原创文章,如若转载,请注明来源:NVIDIA Instant NeRF将图像变为 3D 场景https://diy.zol.com.cn/866/8669395.html