在机器人技术领域取得了令人瞩目的进展,智元机器人公司近日正式发布了其自主研发的大型仿真框架——AgiBot Digital World。此举标志着国产机器人在仿真技术领域迈出了重要一步。该平台旨在为机器人操作技能的研发与应用提供一个高度灵活、数据丰富的虚拟环境,有望显著降低研发成本,加速具身智能技术的落地。
作为专为机器人操作技能设计的仿真平台,AgiBot Digital World整合了海量高精度三维资产、多样化的专家轨迹生成机制以及全面的模型评估工具。 通过模拟各种真实世界的训练场景,该平台能够生成高质量的仿真数据,从而支持机器人的具身仿真服务。
AgiBot Digital World的核心竞争力之一在于其庞大而精细的三维资产库。 该资产库不仅包含了丰富多样的物体、场景和机器人模型,更融合了精细的人工建模、三维重建以及先进的生成式人工智能技术。 这种多元化的资产生成方式,确保了AgiBot Digital World能够满足复杂机器人操作任务的仿真需求,无论是模拟家居环境、商超场景还是办公环境,都能提供高度逼真的体验。 值得注意的是,高质量的3D模型资产一直是仿真平台的重要组成部分,直接影响着训练效果和泛化能力。
在视觉效果和物理模拟方面,AgiBot Digital World基于NVIDIA Isaac-Sim仿真平台,呈现出高度逼真的视觉渲染和精确的物理模拟效果。 例如,光线透过窗户的投影、物体移动时的倒影等等微小细节都得到了细致的刻画,从而显著缩小了仿真情景与真实世界之间的“域差异”。 域差异是仿真数据应用于真实机器人时面临的一大挑战,AgiBot Digital World在这方面的努力,有助于提高模型在真实环境中的表现。
为了进一步提升仿真效率和灵活性,AgiBot Digital World引入了多模态大模型,支持基于资产库自动生成操作任务和场景布局。 这种智能化的任务生成方式,允许用户根据实际的训练需求,灵活地创建多样化、复杂度可调的仿真任务与仿真环境,从而实现数据的闭环生成。 这一功能对于加速机器人技能的学习和提升具有重要意义。
在数据生成方面,AgiBot Digital World提供了多元化的专家轨迹生成策略,包括真机操作数字孪生、具身智能体自动生成以及仿真遥操作等方式。 这些方法能够产生丰富多样的、高质量的专家轨迹数据,不仅有助于提升模型的训练质量,还能增强模型在真实环境中的泛化能力。 专家轨迹数据的质量对于引导机器人学习复杂的动作至关重要。
为了推动行业发展,智元机器人同步开源了海量规模的仿真数据集——AgiBot Digital World Dataset。 该数据集涵盖了家居、商超、办公、餐饮和工业五大场景,包含了超过180种具体物品和9种常见材质,涵盖 12 种核心技能,例如抓、放、插、倒等,能够满足各种复杂任务的需求。 开放数据集的举措有助于降低研发门槛,促进技术的交流与合作。
AgiBot Digital World Dataset 具有高质量、高泛化性、任务多样性和应用灵活性等突出特点。 这些数据集不仅可以支持端到端模型的可靠训练,还可以实现光照、干扰物、平面位置、高度、背景和物体类别等方面的快速泛化。 此外,该数据集还包含了多个步骤的长程任务以及多技能组合的短程任务,适用于多技能训练和多任务泛化执行。 数据的全面性和多样性为研究人员提供了丰富的素材。
总体而言,智元机器人的开源行动,无疑为机器人技术的研发与应用奠定了坚实的基础,并提供了广阔的应用前景。 通过提供高质量的仿真数据和灵活的仿真环境,AgiBot Digital World 有望显著降低行业研发门槛,加速具身智能技术的开发和应用进程,推动整个机器人行业的进步。 未来,随着仿真技术的不断发展,我们有理由期待机器人将在更多领域发挥重要作用。