一个真实世界模拟器。
本周五,来自马萨诸塞大学阿默斯特分校(UMass Amherst)、约翰霍普金斯大学和卡耐基梅隆大学的研究者们提出了一项神奇的研究:虚拟社区(Virtual Community)。这项研究迅速引起了AI圈内大佬的关注,如纽约大学助理教授谢赛宁认为这对智能体研究具有重要意义。
论文:Virtual Community: An Open World for Humans, Robots, and Society
论文链接:https://virtual-community-ai.github.io/paper.pdf
项目链接:https://virtual-community-ai.github.io/
虚拟社区结合了真实世界的地理空间数据和生成模型,为各种类型的智能体创建了一个具有社会根基的交互式、可扩展的开放世界场景。这个虚拟环境中的每一个人物都有详细的背景资料和活动时间表,能够根据设定的行为模式进行互动。

虚拟社区能够模拟世界各个地方的真实3D场景,构建大规模的虚拟角色社区。例如,在纽约、伦敦、阿姆斯特丹和丹佛等地的城市环境中,可以观察到不同角色的活动,如街头演说、小孩与机器狗玩耍、当街作案、警察抓捕和求婚等场景。


这些角色的社会关系以群组的形式构建,每个群组包含一组智能体、文本描述和指定的活动场所,形成了一个有凝聚力的社群。虚拟社区利用高级生成模型来增强纹理,精炼粗糙的3D数据和地理空间数据,创建了交互式对象和精细的室内场景。

作为辅助未来人与机器协作的重要平台,机器人成为虚拟社区不可或缺的一部分。目前已导入的机器人包括宇树的人形机器人、波士顿动力的机器狗、四轴无人机和谷歌机器人等。这些机器人不仅能够在虚拟环境中进行复杂的任务,还能与“人类”进行无缝互动。

虚拟社区的设计使得智能体在没有特定任务时,会遵循默认的日常计划和惯例。每轮游戏中,系统会选择多个智能体并为其分配任务。这些任务涉及各种社交互动,例如竞选活动和社区助手任务。
在竞选任务中,候选人智能体需要高效地规划与选民建立联系并进行说服。选民的性格和社会关系各异,因此候选人需要制定适应性策略,以影响和改变选民意见。实验结果显示,使用GPT-4主干的候选人相比于使用GPT-3.5-turbo主干的候选人,具有更高的平均得票率和转化率,表明其在多数场景下更具说服力。

社区助手任务则涉及两个异构机器人在开放世界环境中合作协助人类。具体的任务包括搬运和递送物品。搬运任务要求机器人伴随人类移动并帮助搬运物品,而递送任务则要求机器人将物品从一个位置(室内或室外)运送到另一个位置。实验结果显示,递送任务的完成效果优于搬运任务,反映出在动态环境中同时操控物体和跟随人类的高难度。


虚拟社区的创新之处在于它不仅是一个技术演示,更是对未来社会和技术发展的深刻探讨。这种模拟器可以帮助研究人员更好地理解智能体在复杂社会环境中的行为模式,从而推动相关领域的发展。
以下是该研究的团队成员:

更详细的内容,可参阅论文原文。