在近期举行的红杉AI Ascent大会上，英伟达AI总监Jim Fan分享了他对具身智能未来发展趋势的独到见解，以及英伟达正在积极探索的解决方案。Fan指出，虽然大型语言模型（LLM）在文本理解和生成方面取得了令人瞩目的进展，似乎已经超越了传统的图灵测试，但机器人在物理世界中的实际表现却与人类的灵活和适应性相去甚远。这种差距的核心问题，在于机器人训练数据的匮乏。
传统机器学习依赖于海量数据进行训练，而机器人需要的 “物理交互 “数据，无法像网络信息那样轻松获取。这些数据必须通过真实世界中的物理交互收集，人工采集的效率极其低下，这成为了制约机器人发展的一大瓶颈。 为了克服这一挑战，英伟达另辟蹊径，将目光投向了仿真世界。
英伟达提出的解决方案是利用超高速仿真技术。通过构建高度逼真的虚拟环境，机器人可以在极短时间内完成大量的训练迭代。Fan举例说，在仿真环境中，机器人可以在短短2小时内完成相当于现实世界10年的训练量。更为关键的是，英伟达的技术能够实现将仿真环境中获得的知识无缝迁移到真实的物理世界，从而大大加速机器人的学习进程，这是一个非常关键的技术突破，解决了“仿真到现实”的关键难题。
生成式AI技术的进步，例如3D建模和纹理生成，将进一步降低仿真训练对人工数据的依赖。Fan认为，随着视频生成模型构建的虚拟世界愈发精细和真实，机器人将能够在无限可能的“梦境空间”中进行训练。 这种训练方式不仅成本极低，而且可以通过简单的提示词自由创造各种反事实的训练场景，例如模拟极端天气条件或罕见故障，从而显著拓宽机器人的能力边界。 这种能力对于提升机器人在复杂环境下的鲁棒性和适应性至关重要。
Fan在演讲中提出了一个极具前瞻性的概念——“物理图灵测试”，即如何判断一个任务是由人类还是机器人完成的。 如果人类无法区分，则机器人通过了该测试。 他强调，当前机器人的水平距离这一标准还很遥远。例如，人形机器人和机器狗等在实际操作中仍然频繁出错，无法胜任复杂或高度精细的任务。 这也说明了具身智能领域仍然有大量未解之谜和挑战。
英伟达团队的设想是，通过构建数字孪生技术，即机器人和周围世界的1:1数字副本，来加速机器人的学习过程。机器人先在仿真环境中接受训练，然后在真实世界中进行测试和验证。 Fan展示了一个引人注目的案例：在仿真世界中训练机器人在瑜伽球上行走，随后成功地将这一技能迁移到了真实世界。 这证明了仿真技术在机器人训练中的巨大潜力。
为了进一步推进仿真技术的发展，英伟达开发了一个名为RoboCasa的大规模仿真平台。该平台的独特之处在于，除了机器人本体之外，所有的视觉元素都由AI生成。 通过RoboCasa，操作者可以在虚拟环境中进行远程操作，系统可以回放仿真轨迹，并利用硬件加速的射线追踪技术呈现逼真的光影效果。 这种高度仿真的环境为机器人训练提供了理想的平台。
Fan认为，未来世界模型与仿真技术的深度融合将推动机器人技术进入“仿真2.0”时代。视频生成模型的出现，使得仿真技术不再依赖于繁琐的人工建模，而是能够自动生成复杂场景和物体。 这种“数字游民”式的仿真，将漫游进视频扩散模型的梦境空间，为机器人提供无限可能的训练环境。 这种方法的创新之处在于，它能够以更低的成本和更高的效率，为机器人提供多样化和挑战性的训练场景。
Fan最后提出了“物理API”的概念，认为这将是物理AI的下一个前沿。 就像现在的大模型API处理数字信息一样，物理API将能够操控物理世界的物质变化。 这将催生全新的经济形态，例如 “物理App Store”和“技能经济”。 在这样的未来，机器人将逐渐融入我们的生活，成为环境智能的一部分， 从而极大地改变生产和生活方式。 这种愿景描绘了一个由智能机器人深度参与的未来社会。
