评估临床开发 AI 工具，我会问的十个问题

一场流畅的演示，可以说明工具能够产出内容；采购或正式采用，还需要判断这些内容能否在自己的工作里被信任和持续维护。下面十个问题，适合在评估前发给供应商，也适合用于内部试点。它们是本文建议的评估框架，不是监管统一评分表。

1. 它具体支持哪一个任务和决定？

请用输入、输出和使用者描述范围。整理公开试验与判断真实患者资格，需要不同要求。问清不适用的资料、疾病、语言或决定，避免从一个任务的表现推断所有用途。

2. 每个关键事实能回到哪一份原始资料？

要求现场打开来源，显示日期、版本和对应位置。链接到一整篇论文，未必能支持某个单元格。还需解释付费或内部资料不可访问时怎样处理。

3. 缺失与冲突信息怎样表示？

用一个没有完整信息的例子，观察系统是标未知、保留冲突，还是自动补出确定答案。对于试验条件，未记录、允许和禁止是不同状态；无法确认时，应有清楚的后续路径。

4. 验证材料是否接近我们的实际工作？

问清研究设计、材料来源、参照标准、语言和任务难度。外部论文可以支持一个研究发现，但不能替本地验证。例如 TrialGPT 的原始研究有明确的评估任务和范围，不能用其结果概括所有患者匹配产品。

5. 会改变结论的错误表现如何？

总体正确率之外，要求看否定反转、时间窗遗漏、分析人群混淆和虚构引用等情况。重要的是错误会不会被识别，以及工作人员如何处理。指标应根据任务定义，不应接受没有分母和判定方法的准确率。

6. 审核者要花多少工作，才能接受一份输出？

演示原文定位、修改、复核和问题关闭。试点记录应包含人工审核和返工，而不只有初稿生成时间。要求提供实际评估依据；没有数据时，就把时间节省保留为待检验假设。

7. 处理了哪些数据，保存在哪里，谁能访问？

根据自己的环境问清权限、保存、删除、跨系统流转和是否用于后续模型改进。公开材料工具与内部方案或患者资料工具，边界需要分别确认。供应商的说明还应与合同、系统配置和内部程序一致。

8. 哪些变更会影响已经评估的任务？

模型、提示词、检索资料、转换规则都可能改变结果。询问通知机制、版本追踪、回退条件和重新评估安排。产品名称不变，不代表经过验收的工作流没有变化。

9. 异常或失败之后，由谁处理？

请供应商演示来源不可访问、内容冲突、工具中断或关键结果出错时的行为。内部也应明确暂停使用、升级问题和恢复确认的责任。把“有人复核”具体到角色和处理步骤。

10. 它所声称的监管状态，具体对应什么？

区分论文、监管原则、指导文件、方法认可与某个产品的授权。FDA 的药物监管决策 AI 文件在核对时仍是草案，讨论的是特定情境下的可信度。它不能作为任意 AI 工具已获批准的证明。

评估时，可以给每个回答附上来源文件、演示结果和仍需测试的事项。某个问题没有答案，不一定立即淘汰产品，但应影响适用范围、试点设计或采用条件。团队应提前定义哪些缺口会阻止正式使用，哪些可以在限定范围内继续验证。

最终采购依据应指向一个真实工作流：在代表性资料上能稳定交付什么，审核成本是多少，关键错误如何控制，以及谁负责长期维护。十个问题的作用，是把宣传中的能力变成可以验证和承担责任的使用安排。