RSI新突破，UC Berkeley、Sakana AI团队提出「多Agent自监督」MASS
改进的球堆积边界、新的胶子散射公式，以及经过实验验证的纳米抗体设计……前沿人工智能系统已开始在科学研究中取得原创性成果。
如何让这一进程持续下去，并进一步提升研究效率？递归自我改进（Recursive Self-Improvement，RSI）被视为一个具有潜力的方向。
RSI主要由评估与改进两个核心组件驱动。然而，在前沿科研中，这两个环节都面临现实挑战：在评估方面，如果研究成果超出了现有人类专家的判断能力，或者实验反馈需要长时间等待，就很难获得可靠的评估结果；在改进方面，模型需要通过高质量的执行轨迹来学习，而这些轨迹的质量又取决于工作流是否合理。针对不同任务和领域，逐一调整任务分解、工具使用和结果验证等环节，人工成本高昂，也难以推广。
问题还在于，模型往往需要依赖自身来判断和改进自己的表现。任务生成、结果评估和工作流调整都基于模型已有的知识与判断。如果这些判断本身存在偏差，自我反馈就可能让错误持续延续。
为此，加州大学伯克利分校、Sakana AI团队提出了“多Agent自监督”（Multi-Agent Self-Supervision，MASS），利用多Agent协调来为RSI生成自监督。
具体而言，他们让同一个模型交替担任任务求解Agent、工作流优化器与评估器，先在冻结权重的前提下优化“多个自身副本如何协作”，再把协作产生的轨迹蒸馏回共享权重。
经过两轮MASS循环后，Qwen3.6-27B在三个测试任务上对外部强模型裁判的胜率从53.9%升至69.9%，在四个公开科研基准上单位输出Token的得分达到基座模型的1.2–1.6倍。
另外，他们还发现，经过优化的工作流会根据任务特点安排信息传递和Agent路由。在第一轮实验中，多Agent学生模型相对于基座模型的胜率达到68.3%。作为对照，单Agent学生模型使用了多出约1.4倍的已处理监督Token进行训练，胜率为64.0%。这表明，联合学习编排与有界的子Agent执行，能为RSI提供更有效的监督。
这些结果表明，优化Agent之间的协作方式，并让各个子Agent在明确的任务范围内执行工作，有助于提高训练数据的质量，为模型的持续改进提供更有效的监督信号。
一、研究方法
MASS先通过优化工作流激发多Agent团队的集体智能，再将团队经验蒸馏到共享模型中。内循环在模型权重保持固定的前提下优化团队工作流，模型自己评估并判断哪个工作流最优；外循环则通过学习优化后工作流的执行来更新权重。
1.准备阶段：工作流即Prompt
工作流是一份关于多Agent团队如何协作的书面计划。编排器负责向subagent分派工作并整合结果。这份计划会被附加到任务Prompt中，使团队的组织方式可以被模型检视和修改，包含四个部分：
- 角色：分派给每个subagent的职责，如准备数据。
- 指令：该subagent应执行的工作。
- 契约：它必须返回的信息和工件，包括任何必需的检查。
- 调用顺序：subagent的调用顺序，包括对先前步骤的回返。
如果让历史决策用到了未来的信息，一个回测可以看起来很有说服力。这份契约要求数据专家检查这类错误，并报告时间切分是否有效。它还告诉后续的Agent：在继续之前应该收到哪些证据。于是，研究计划的一部分就表达成了“Agent必须确立什么、必须相互传递什么”。
2.内循环：搜索更好的工作流
对每个训练任务，MASS保留一个冠军：按当前模型的判断，迄今为止找到的最佳工作流。每次迭代有三个步骤：
- 执行：团队按候选工作流执行并产出一个工作区。
- 评估：评估器把这个工作区与冠军的工作区做比较，并解释哪个更好。获胜的候选成为新冠军。
- 修订：优化器利用反馈历史提出下一个工作流。
评估器评判的是已完成的工作；优化器则利用这一判断去修订产出这份工作的过程。优化器的系统Prompt强调契约与调用顺序，把工作流搜索导向“Agent之间交换什么信息、何时收到信息”。
3.外循环：向选出的团队学习
即使有了优化后的工作流，长程研究工作的质量在每次运行之间仍可能波动。因此，MASS用多个随机种子执行自评最优的工作流，用当前模型对产出的工作区排序，保留排名最高的轨迹。每条轨迹记录编排器及其子代理的消息、工具调用和工具结果。
- 对每个任务，将冠军工作流运行18次。
- 用当前模型比较并对产出的工作区排序。
- 每个任务最多保留16条轨迹：15条用于训练，1条用于验证。
- 构造训练样本时，把工作流文本从编排器的初始Prompt中移除。
- 用LoRA在编排器和子代理的对话上微调共享模型。模型的输出是训练目标；任务Prompt和工具结果提供上下文。
把工作流从编排器的训练Prompt中移除，可以促使模型学会从任务本身出发组织工作。
二、实验结果
研究团队以Qwen3.6-27B为基座，在qwen-code编程Agent环境中运行了两轮MASS。实验使用12个合成研究任务，覆盖金融、机器人和制药领域，每个任务要求交付代码、量化结果和研究报告，其中9个用于训练，3个留出测试。GPT-5.5和Claude Opus 4.8担任外部评委，其判断不参与MASS的任何环节。
在留出的测试任务上，模型对基座模型的胜率从第一轮的53.9%升至第二轮的69.9%，第二轮对第一轮的胜率为60.8%。
在6个公开基准上，经两轮训练后，模型的每输出Token得分相较基座模型分别达到：MLR-Bench的1.60倍、DSBench的1.35倍、AstaBench E2E-Hard的1.28倍和ScienceAgentBench的1.20倍。相比之下，Terminal-Bench 2.0和SWE-bench Verified分别为0.96倍和0.94倍，说明提升在不同任务间并不均衡。研究团队推测，在训练数据中加入软件工程任务，或可改善这两个基准上的表现。
值得注意的是，训练数据只包含任务求解轨迹，但工作流优化和自我评估两个角色的能力也同步提升：
- 自我评估：评估器与外部评委的一致率从0.73升至0.91，再升至0.93。
- 工作流优化：第一轮模型生成的工作流，即使交给基座模型执行，也在64%的对比中优于基座模型自己生成的工作流。
- 搜索速度：训练后的模型能更早找到有效工作流。
多Agent轨迹的训练效率同样更高。M+处理28.8M个监督Token，对基座模型的胜率为68.3%；单Agent轨迹训练的S++处理42M个监督Token，胜率为64.0%。前者少用31%的监督Token，胜率反而更高。该Token数不含数据生成、工作流搜索和评估的开销。
在优化器与评估者的对比实验中，执行者固定为基座模型，评估者和优化器同时换成GPT-5.5后，5次迭代内即为全部12个任务找到优于无工作流基座模型的工作流；只更换评估者，收益明显更小。全部由基座模型担任的同质闭环速度较慢，但到第13次迭代时也覆盖了11个任务。研究团队认为，预算有限时应优先升级优化器。
以上结果表明，MASS能为RSI提供有效的自监督。研究团队表示，如何加快每个周期中性能提升的速度，仍是未来工作的重要方向。更多信息可访问博鱼官网获取相关动态。本文来自微信公众号“学术头条”，作者：学术头条，36氪经授权发布。