论文页面 - MedSkillAudit：面向医学研究智能体技能的领域特定审计框架

来源: https://huggingface.co/papers/2604.20441 作者:

,

,

,

,

,

,

,

,

,

,

摘要

一种面向医学研究智能体技能的领域特定审计框架展示了与专家评审相比可靠的评估一致性，支持对医疗应用中专业AI能力的治理。

背景：智能体技能作为模块化、可复用的能力单元在AI智能体系统中日益部署。医学研究智能体技能(https://huggingface.co/papers?q=Medical%20research%20agent%20skills)需要超越通用评估的保障措施，包括科学完整性、方法论有效性、可复现性和边界安全性。本研究开发并初步评估了一个面向医学研究智能体技能的领域特定审计框架(https://huggingface.co/papers?q=medical%20research%20agent%20skills)，重点关注与专家评审(https://huggingface.co/papers?q=expert%20review)的可靠性(https://huggingface.co/papers?q=reliability)。方法：我们开发了MedSkillAudit(https://huggingface.co/papers?q=MedSkillAudit)([email protected] (https://huggingface.co/papers?q=skill-auditor%401.0))，这是一个分层框架，用于评估技能发布就绪状态后再进行部署。我们评估了五个医学研究类别中的75项技能（每类15项）。两位专家独立给出了质量分数(https://huggingface.co/papers?q=quality%20score)（0-100）、有序发布意向(https://huggingface.co/papers?q=release%20disposition)（Production Ready / Limited Release / Beta Only / Reject）以及高风险失败标记(https://huggingface.co/papers?q=high-risk%20failure%20flag)。系统与专家的一致性使用ICC(2,1) (https://huggingface.co/papers?q=ICC(2),1) (https://huggingface.co/papers?q=1))和线性加权Cohen’s kappa (https://huggingface.co/papers?q=linearly%20weighted%20Cohen%27s%20kappa)进行量化，以人类评分者间基线为基准。结果：平均共识质量分数(https://huggingface.co/papers?q=consensus%20quality%20score)为72.4（SD = 13.0）；57.3%的技能低于Limited Release阈值。MedSkillAudit(https://huggingface.co/papers?q=MedSkillAudit)达到了ICC(2,1) (https://huggingface.co/papers?q=ICC(2),1) (https://huggingface.co/papers?q=1))= 0.449（95% CI: 0.250-0.610），超过了人类评分者间ICC的0.300。系统与共识分数的分歧（SD = 9.5）小于专家间分歧（SD = 12.4），无方向性偏差（Wilcoxon p = 0.613）。Protocol Design (https://huggingface.co/papers?q=Protocol%20Design)展示了最强的类别级一致性（ICC = 0.551）(https://huggingface.co/papers?q=1))；Academic Writing (https://huggingface.co/papers?q=Academic%20Writing)展示了负ICC（-0.567），反映了结构性评分标准与专家的不匹配。结论：领域特定的部署前审计可能为治理医学研究智能体技能(https://huggingface.co/papers?q=medical%20research%20agent%20skills)提供实践基础，以针对科学用例定制的结构化审计工作流补充通用质量检查。

查看arXiv页面 (https://arxiv.org/abs/2604.20441) 查看PDF (https://arxiv.org/pdf/2604.20441) GitHub537 (https://github.com/aipoch/medical-research-skills) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2604.20441)

在您的智能体中获取这篇论文：

hf papers read 2604\.20441

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无链接此论文的模型

在模型README.md中引用arxiv.org/abs/2604.20441以从此页面链接。

引用此论文的数据集0

无链接此论文的数据集

在数据集README.md中引用arxiv.org/abs/2604.20441以从此页面链接。

引用此论文的Spaces0

无链接此论文的Space

在Space README.md中引用arxiv.org/abs/2604.20441以从此页面链接。

包含此论文的收藏集1