近日，北京大学人工智能研究院、工学院、计算机学院和伦敦国王学院联合完成的论文——《大规模多智能体系统的高效强化学习》在国际顶级学术期刊《自然·机器智能》上发表。这项成果首次在大型多智能体系统中实现了高效的去中心化协同决策，这将有利于提高人工智能决策算法的扩展性和适用性。
多智能体系统通常基于大量智能体交互数据，利用庞大的计算资源驱动每个智能体学习如何与其他智能体协作执行复杂任务。多智能体强化学习是其核心范式。
论文第一作者、北京大学人工智能研究院博士生马成栋以无人机编队为例解释了多智能体系统的概念：“比如一个无人机编队，每架无人机都由人工智能控制，我们把每架飞机的控制器叫作智能体，这个无人机编队由多个智能体构成，就是一个多智能体系统。”
马成栋指出，在真实的、大型的多智能体系统中，各个控制单元之间以及控制单元与环境之间的交互成本非常高。这些系统往往存在客观通信限制，例如通信距离过远、全局通信存在隐私泄露风险、通信能耗限制等等。由于控制单元之间难以实现全局信息交换，阻碍了人工智能决策算法在大规模系统中的扩展和应用。
当前，去中心化的多智能体强化学习成为国际学术界的热门研究方向。其目标是在有限的数据和资源条件下，将决策能力扩展到包含大量智能体的复杂现实系统中。
马成栋强调，去中心化的多智能体强化学习无需依赖全局信息，每个智能体都能实现高效的去中心化协同决策，展现出独特的优势。
论文通讯作者、北京大学人工智能研究院助理教授杨耀东介绍了研究团队的突破性成果。他们通过网络化结构解耦系统的全局动态特性，使智能体能够独立地学习局部状态转移、邻域信息价值和去中心化策略，从而将复杂的大规模决策难题转化为更容易求解的问题。即使在样本数据和信息交互受限的情况下，大型人工智能系统也能展现令人满意的决策性能。
研究团队在复杂的城市交通和电力网络中进行了测试，模拟了包含数百个智能体的场景。结果显示，与中心化多智能体学习方法相比，去中心化方法可以将信息交换成本降低70%甚至更多。随着智能体数量的不断增长，这一比例还会显著下降。同时，样本效率可提升50%以上。
马成栋认为，这项研究成果对于将人工智能模型扩展到大型电力网络、城市交通信号控制等大规模多智能体系统具有重要价值。例如，在大型电网系统中，节点之间信息交换和传输过于频繁，容易产生干扰。一旦某个节点发生故障，就会严重影响其他节点的性能。去中心化可以降低这种风险，提高电网系统的稳定性和安全性。
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，可联系本站进行审核删除。
