清华大学合作推出体验式协同学习：总结历史经验，提高学习能力

清华大学合作推出体验式协同学习：总结历史经验，提高学习能力

IT之家 1 月 2 日消息，机器学习和人工智能已经在各行各业掀起了新的变革浪潮，其重点表现形式是各种大模型支撑的“智能体”（agent），指能自主活动的软件或者硬件实体。

这些“智能体”可以和用户进行自然对话，并根据对话内容独立处理各种任务，展示了它们在众多领域彻底改变任务解决方式的潜力。

不过这些人工智能驱动的“智能体”面临的一个重大挑战是，它们倾向于孤立运行，经常会重复错误，并采用低效的试错方法，限制了它们的效率，阻碍了它们的学习过程。

虽然大语言模型陆续开发了上下文敏感记忆、多步骤规划和战略性工具等高级功能，但这些“智能体”在执行任务时通常无法吸取历史经验，从而导致其解决问题的能力效率低下。

来自清华大学、大连理工大学和北京邮电大学的科研团队近日推出了突破性框架--“体验式协同学习”（Experiential Co-Learning），目标是大幅提高“智能体”的学习能力。

这一创新方法将过去的经验融入到“智能体”的操作结构中，从而重新定义了“智能体”的协作和学习方式。

该框架包括三个不可分割的模块：共同追踪（co-tracking）、共同记忆（co-memorizing）和共同推理（co-reasoning），每个模块都在增强“智能体”的协作和学习能力方面发挥着至关重要的作用。

共同追踪：

“智能体”进行合作演练，对各种训练任务的“程序轨迹”进行细致追踪。这种跟踪为“智能体”分享经验和合作制定策略奠定了基础。

共同记忆

根据外部环境反馈，从这些轨迹中策略性地提取“快捷方式”，从而进一步推进上述工作。这些“快捷方式”被整合到“智能体”的集体经验库中，使他们能够参考过去的经验，加强未来的任务解决策略。

共同推理

结合了“智能体”的集体经验库，使它们能够通过细化指令和响应进行更高级的互动。通过利用各自的经验知识，“智能体”可为未知任务提供更有洞察力和更准确的解决方案。

团队在部署“体验式协同学习”之后，发现可显著提高“智能体”的学习能力，具备更高的协作效率，大大减少了重复性错误和执行时间，并减少了软件开发中对额外人力参与的需求。

“智能体”能够从过去的经验中回忆并应用高质量的 "捷径"，再结合底层 LLM 的能力，证明了性能的提高。

该框架使“智能体”能够从过去的经验中学习并有效利用这些经验，从而弥补了它们在操作能力上的一个关键差距。

这一进步提高了自主“智能体”的效率，减少了它们对人工干预的依赖，为未来的独立智能系统铺平了道路。

IT之家附上论文参考地址：https://arxiv.org/abs/2312.17025v1