这个基准测试不再是之前光凭借记忆，就可以做到的试卷答题，而是微软创建的全新的评测标准，「顺序诊断基准」（SD Bench）。它高度还原了真实诊疗过程的互动挑战： 从患者的初步症状描述入手。通过多轮提问，选择各种检验检查，逐步手机病情信息。每开一项检查，同时记录检查项目的费用；评估必要性和成本。给出最终诊断。 同样面对这个 304 个复杂病例，微软选择了另外 21 位来自美国和英国，具有 5 年至 20 年临床经验的执业医生，测试结果显示，真实医生的平均准确率仅为 20%，这与 「AI 医生」的差距足足有四倍之大。 ▲顺序诊断基准测试介绍图，「守门人」回应来自诊断代理的信息请求，评估模型则评估诊断代理的最终诊断与病例报告准确度。 MAI-DxO 是一个模拟现实中多名医生合作诊断过程的系统。得益于当前大语言模型的持续发展，在 MAI-DxO 系统中，有不同的语言模型去扮演五种不同的医疗角色。 这些医疗角色包括推测各种结果的假设医生、选择医生、质疑当前诊断假设的挑战医生、避免不必要检查的成本管理医生、以及确保诊断步骤和选择逻辑一致的检查表医生。 首先从问诊开始，MAIN-DxO 会得到一个简短的临床小故事，通常为 2-3 句话，包含病例的基本情况。接着，MAI-DxO 会开始总结患者的主要诉求，选择下一步操作，是继续向患者提问，还是申请开检查。每开一项检查会计算检查费用，同时持续进行多轮互动，直到给出最后诊断结果。 在测试过程中，MAI-DxO 利用 o4-mini 和专业医生设置了一个「守门人」，确保系统给 AI 的信息是与正常医生在问诊和临床上能够得到的信息一样。 MAI-DxO 的出现，为大语言模型在医疗诊断上取得明显的性能提升。微软测试了来自 OpenAI、Gemini、Claude、Grok、DeepSeek 以及 Llama 系列的不同模型，表现均优于仅使用单一的 AI 模型，而表现最好的组合是 MAI-DxO 与 OpenAI 的 o3 配对。 微软在该项目论文最后提到，这次的研究存在显著局限性，包括像参与对比实验的 21 位医生并没有获得同行的讨论协助、参考书籍以及生成式 AI 等资源。此外，微软这次实验也仅仅只讨论了最具挑战性的病例难题，而对我们一般的日常性疾病诊断没有做进一步的测试。 但就是这个医生和患者共同的助手，也持续地吸引着全世界范围的关注；早在今年 3 月，微软就发布了医疗界首个用于临床工作流程的 AI 助手 Microsoft Dragon Copilot，它能帮助医生更好的整理病例的临床文件。 华为今年才组建组建医疗卫生军团，上周也联合瑞金医院，宣布开源 RuiPath 病理模型，具备临床验证能力，覆盖肺癌等 7 个常见癌种。
