R1在函数调用上表现仍欠佳，而且在这项研究里甚至没有针对这一点进行微调。但即便如此，只要给它搭配合适的框架，它在HLE这个难度很高的测试中就能拿到32%的成绩。虽然大家可能会习惯性地称R1为“最佳基础模型”，但我觉得这其实是给V4打下了基础。我敢肯定，V4一出来就会自带智能体功能。 X-Master是一个由开源模型（如DeepSeek-R1）驱动的工具增强型推理智能体，其核心设计理念是模拟人类研究者的动态问题解决过程，在内部推理和外部工具使用之间流畅切换。 当X-Master遇到无法通过内部推理解决的问题时，它会将精确的行动计划编写为代码块。这个“计划”随后会被执行，与任何所需资源进行接口连接，这些资源既包括NumPy和SciPy的强大数值计算能力，也包括团队专门设计的用于实时网络搜索和数据提取的工具包。 具体而言，在智能体的思考过程中，即在token“”和“”之间，智能体既可以生成非代码文本用于推理，也可以在特殊token“”之间生成代码以与环境进行交互。 一旦通过字符串匹配检测到这种模式，其中的代码就会被提取出来，并在一个沙盒环境中执行，在该环境中可以访问各种Python库和工具。 由于当前可用的强推理模型（如DeepSeek-R1）本质上是非智能体的，并且往往在遵循指令方面能力有限，仅依靠传统的提示工程不足以可靠地引导这些模型展现出预期的智能体行为。 该机制不会让推理模型在收到用户查询后立即开始不受约束的思考过程，而是在模型的初始“”token之后直接嵌入一系列引导文本。 这些引导文本特意从推理智能体自身的角度出发来设计，采用第一人称表述，例如“我可以通过访问外部环境有效回答这个查询”“每当我确定需要与外部工具交互时，我会生成包裹在token之间的Python代码”。 即便没有针对智能体行为进行明确的微调，该模型也能够自主生成和执行代码，与环境交互，并最终发挥出强大的智能体功能。 接下来，为充分发挥X-Master的潜力，团队设计X-Masters，这是一种分散-堆叠式智能体工作流，通过编排多智能体认知过程，系统地增强推理的广度和深度。 “分散”阶段旨在拓宽思路，多个求解器（Solver）智能体并行工作，生成多样化的解决方案，同时批评者（Critic）智能体对这些方案可能存在的缺陷进行修正。 接着“堆叠”阶段用于深化思考重写器（Rewriter）智能体将所有先前的输出综合成更优的解决方案，最后由选择器（Selector）智能体裁定出最佳答案。 “分散”阶段类似于强化学习中Rollouts的探索原理，即模拟多条未来轨迹以评估不同行动的潜力。后续的“堆叠”阶段类似于强化学习中Rollouts之后的聚合和“利用”步骤。 并且Biomni和STELLA是从生物学/医学类题目里挑了一部分来测试的，而X-Masters是考了这一类里所有222道纯文字题，说明它在复杂生物医学问题上的能力确实突出。 在一个叫TRQA-lit（choice）的生物学专门测试中，X-Masters也取得了目前最好的成绩。这个测试里有172道多选题，都是生物学研究里的复杂任务，比如找治疗靶点、研究生物医学机制等 与整合了500多种专家工具的多智能体系统 OriGene相比，X-Master仅使用两种网络工具（网页搜索和网页解析），却获得了更高的准确率，进一步印证了X-Master工具增强推理过程的高效性，即通过广泛探索和堆叠选择，它能够有效解决复杂的生物学任务。 “人类最后的考试”由AI安全中心和Scale AI发起，今年年初发布。刚发布时，包括o1在内，没有一个模型得分超过10%，被称作是史上最难大模型测试集。 题目来自500多家机构的1000多名学者，涉及机构包括高校、研究所和公司，还有来自医疗机构的学者以及一些独立研究者等。OpenAI、Anthropic、谷歌DeepMind以及微软研究院都包括在其中。 团队收集到的题目需要经历大模型和人工的双重审查。不仅要达到研究生难度，而且还要确保不能被检索到。当然题目还应当有明确的答案和评判方式，证明等开放式问题不会入选。 入选的问题涵盖了数理化、生物医药、工程和社会科学等多种学科，按细分学科来算则多达100余个。按大类来分，可分为八大类，其中占比最多的是数学（42%），然后是物理和生物医药（均为11%）。
