NVIDIA XR总监Dave Weinstein 访谈记录：从 Omniverse 到 XR

#Q1：Dave您好，能向读者介绍一下自己吗？

Dave：大家好，我是NVIDIA XR产品总监Dave Weinstein。我和我的团队负责管理NVIDIA的所有XR产品以及与NVIDIA XR合作伙伴的关系。

#Q2：你们最近在开展什么XR项目？

Dave：NVIDIA的目标是提高XR在各消费者和专业合作伙伴中的影响力和质量。你可能很熟悉我们的CloudXR产品，这款产品是我们用于串流XR体验的SDK。CloudXR是一款令人兴奋的产品，因为无论你身在何处，它都能让你轻松驾驭所有XR内容，使你可以在最普通的XR设备上体验最复杂的模型。只要你在办公室、数据中心或通过电信运营商访问高性能GPU，你就可以在任何地方串流传输丰富的XR体验。

最近，我们已经将XR带到云端。这让很多人大吃一惊，因为我们都知道VR对延迟非常敏感。然而事实证明，通过保持对网络条件的高度响应性和有效消除感知延迟，我们能够提供强大、高质量的XR串流传输。

XR串流能让人感到兴奋的原因有很多，在此我想重点介绍其中的三个。 第一，它降低了准入门槛。换句话说，它使实现了XR的进一步民主化。当入门价格只是一个AWS账户加一个移动XR设备时，每个人都可以参与沉浸式小组设计讨论。第二，它提高了“真实性”的质量标准——我们希望我们的沉浸式体验尽可能真实，而从云端传输意味着我们可以随时随地获得所需的所有计算能力。第三，它为我们的合作伙伴开辟了新的部署和分销模式，例如ISV的XR即服务、基于用户的安全内容串流传输等。

当我在访问NVIDIA的Greg Jones时，他非常详细地介绍了NVIDIA CloudXR以及它十分具有吸引力的原因。

#Q3：下面我们来谈谈Omniverse，有不少人对它有许多疑问，能否请你介绍一下它是什么？

Dave：Omniverse是一个3D虚拟世界实时模拟和协作平台。打个比方，该平台的协作引擎——Omniverse Nucleus就像是3D素材和这些虚拟世界中的“Git”。Omniverse为各个行业和各种规模项目的用例提供真实模拟，无论您想实现建筑模型的实时可视化和模拟，还是协同迭代一个汽车设计或者模拟一座完美的大规模数字孪生工厂。

我们为自己构建了Omniverse，通过连接我们的团队和他们的首选软件工具，帮助加速我们的设计和开发流程、建立精确物理虚拟世界和环境，以训练我们的自动驾驶车辆和机器人系统，并提供一个统一的平台来向我们的工程、设计和创意团队提供我们的核心AI、图形和模拟技术。

我们把Omniverse视为元宇宙（Metaverse）开端的一部分。它基于Pixar的通用场景描述（USD），是一个强大、灵活的开源框架。Omniverse将成为各种世界的连接器，无论是领先行业软件中的不同“世界”，如Epic Games的虚幻引擎，还是Autodesk的Maya或3ds Max，亦或是Adobe的Substance，或像我们今天在热门的视频游戏中所看到的大型虚拟世界。

#Q4：为什么像Omniverse这样的解决方案很重要？谁在使用它？它有什么优点？

Dave：如今的3D工作流程非常复杂，因此需要一支庞大、多样化、需要专业软件来发挥特殊技能组合的团队。而需要进行3D建模和模拟的系统、产品、模型和项目的规模与复杂性正在成倍增长。Omniverse能够解决这些挑战，它能实现不同软件应用之间的互操作性，让技能娴熟的设计师和工程师继续使用他们选择的工具，并为这些复杂的数据集提供可扩展的GPU加速精确物理模拟。

Omniverse从根本上改变了3D制作流程，通过实现用户、团队、他们的工具和资产库之间的真正实时协作，大大加快生产时间、缩短审核周期，并降低因文件不一致、重复存储和因繁琐的导入/导出流程所导致的时间耗费而产生的的巨大成本。

今天，有超过5万名来自各行业和学科的人使用Omniverse公测版，还有包括宝马集团在内的400多家公司正在积极评估Omniverse。他们正在使用该平台来设计、部署和优化他们未来工厂的数字孪生；沃尔沃汽车公司正在使用Omniverse来增强其汽车的客户购买体验；Foster建筑事务所和KPF正在使用Omniverse来连接其全球团队以协作设计创新建筑。

#Q5：很多开发者都不了解NVIDIA提供的许多软件服务/SDK。你们所提供的哪些最重要的服务可能对公司外的XR开发者有用的呢？

Dave：我认为是AI。当今的大多数XR体验都围绕着使用简化的材料和不自然交互模式的精简模型而构建得。这些模型是开发者根据他们当时所使用的工具和平台而不得不做出的设计决定。但随着这些开发者开始运用AI和串流传输，整个行业将被彻底改变。NVIDIA一直在建立一套广泛的AI SDK，包括基于AI的深度学习超级采样（DLSS）、交互对话式AI（Jarvis）和AI面部特征追踪（Maxine）。随着开发者开始将这些功能集成到他们的VR体验中，沉浸感和互动性将被提升至一个新的水平。

#Q6：在贵公司所开发的XR用例中，有哪些最让你感到惊讶？

Dave：NVIDIA专注于创造能够推动众多行业创新的技术。我们的XR核心技术堆栈始于NVIDIA VRWorks SDK，一套用于加速和增强所有VR应用的工具。我们创造了Direct Mode, Context Priority和Variable Rate Shading等基本技术，为VR渲染提供精细的控制。但最让我惊讶的技术创新必须是CloudXR。正如我上面提到的，它是我们的XR串流传输SDK。CloudXR的设计灵感很简单——以我们串流虚拟桌面和游戏（GeForce NOW）的方式来传输XR体验，但每个人都认为网络延迟将影响沉浸感。尽管这是一项艰苦的工作，我们的工程团队通过坚持不懈的努力取得了成功。这真是一项令人难以置信的壮举。即便距离达到数百英里，它也能像这样稳健地工作，简直太令人惊讶了。

#Q7：在接下来的6至12个月里，NVIDIA在XR领域将有什么令人期待的进展？

Dave：在未来6-12个月内，我们将开始看到我上面提到的AI+XR集成的雏形。随着用于自然界面和数字助理的AI以及用于互动协作的传感器和工具的加入，XR在丰富性和易用性方面将出现重大飞跃，而这正是我们一直以来所希望的。我们将为元宇宙创建基础技术并且将看到展示XR未来将有多么不可思议的早期示例。

#Q8：NVIDIA的长期（5-10年）AR和VR远景是什么？

Dave：AR和VR将在内容质量方面以及在传感器集成和协作互动方面变得异常丰富。为此，未来的XR必须采用拆分模式：体验中对延迟高度敏感的部分在本地运行，而对计算要求高的部分在云中运行。我们用NVIDIA RTXGI演示了一次拆分模式，从远程服务器计算全局照明（GI）并将结果传输到一个正在渲染直接照明和整合这些GI的轻量级本地客户端。类似的方法将出现在物理学和复杂的AI领域。拆分模式显卡的另一个好处是可以在协作过程中分摊昂贵的计算成本——可以集中计算物理世界和间接照明并将结果传输至所有参与者。

#Q9：你们已经提供了许多设施，比如Variable Rate Shading等，但似乎没有头显能够实现注视点渲染。你认为它什么时候会成为主流？

Dave：中心凹形渲染（foveated rendering）是我最喜欢的一项VR技术。它在加速渲染方面具有巨大的潜力，但为了最大限度地发挥这种优势，需要优化图形和串流管道，而这要求我们做出多项经过协调的改进。中心凹形渲染最适合用于串流场景中——本地头显将视线数据传输到远程服务器，远程服务器根据注视点信息有效渲染场景（例如使用光线追踪并将光线采样密度与用户在整个视野中的视敏度相匹配），渲染帧根据视线数据有效压缩和传输，最后图像被解码并显示在头显上。在这个场景中，有一点没有被过多地讨论，那就是体验背景如何能够提高视线方向的预测准确性，比如当坏人从树后跳出来或者当教授开始在课堂上讲课时，我们可以知道用户会朝哪里看。这些组成部分都很复杂，所以还需要等待一段时间，但随着它们的结合，我们会看到效率不断提高，这反过来又会带给我们越来越丰富的体验。

#Q10：几年前，围绕着VirtualLink有很多炒作，这个新标准本来应该用于提供PC和VR头显之间的简单连接，但后来却从未被采用。你能否向我们解释一下为什么会这样吗？它是否有回归的可能性？

Dave：VirtualLink是一项出色的解决方案。它通过在一根电缆上提供电源、数据和视频，极大地简化VR设置流程。它不需要有更多的分线盒，也不需要有更多的延长线。不幸的是，VR生态系统由于过于分散，因此无法聚集到这个新标准周围。我们在看到这种分散情况时，也看到了5G和一体式头显的出现；因此，我们没有继续关注VirtualLink，而是把注意力转向如何完全解决电线问题——因此我们开发出我们的XR串流SDK——CloudXR。

#Q11：如果让你向愿意从事这份工作的人传授一项经验，你会传授什么？

Dave：福特汽车公司的建立者Henry Ford曾说，每当我问顾客需要什么的时候，他们总是会说需要跑得更快的马。XR在早期采用现有的图形管道、将其优化为90Hz的立体声并将其缩小以适应头显的外形尺寸。但XR未来的趋势是个性化的空间计算——它会被全部拆开，加入AI、光线追踪、串流传输、传感器和协作等新的组成部分并构建全新的应用。XR的未来并不是图形管道的进化，而是个性化计算的革命。我想传授的经验是顺势而为。这就是NVIDIA正在做的事情；我们正在为未来的XR构建平台。

#Q12：你还有什么想要补充的吗？

Dave：我对XR的快速成熟感到非常兴奋，想鼓励你的所有读者参与进来。去下载Omniverse，使用CloudXR构建XR体验。NVIDIA正在建设元宇宙，并且希望每个人都能参与其中。