标签
LangSmith 正在帮助医疗机构将专家评审转化为可重复使用的 AI 代理评估,从而改善患者护理工作流程。
本文介绍了InterviewPlayground,一个基于临床医生的评估平台,用于使用模拟患者进行AI辅助精神科接诊。研究发现,与临床医生相比,LLM访谈者能获取更多临床信息项,但会做出更多未经支持的推断。
该研究使用真实世界临床病例评估了16个大型语言模型与60位执业中医医生的表现,发现LLMs在某些领域获得更高的专家分数,但存在差异和安全问题。它强调了LLMs在中医决策支持中的潜力和局限性。
本文介绍了Japanese Stroke LLM Evaluation,一个用于评估大型语言模型在日语安全卒中护理中的对话基准,显示Claude Fable 5获得了最高分并满足安全阈值,而其他模型犯了严重错误。
该论文研究使用大型语言模型作为事后审核工具,以评估符号回归模型的可解释性和医学合理性,临床医生评估表明,比较性模型排名比单项解释更受欢迎。
本文介绍了oncothresh,一个用于在特定临床决策阈值下评估肿瘤学AI模型的Python库和Web仪表板,提供敏感性、特异性和决策曲线分析等指标,以填补现有基准的空白。
MedBench v5 是一个面向临床多模态模型的动态、过程导向的基准测试,集成了幻觉检测和压力测试,超越静态问答,评估在信息流压力下的推理和稳定性。
本文提出了一个针对医疗保健领域生成式、多模态及智能体AI进行基准测试的结构化框架,旨在解决高基准得分与实际临床可靠性、安全性和相关性之间的差距。
OpenAI组建了一支由在职医生组成的团队,通过真实临床经验评估和改进ChatGPT在健康领域的回答,旨在提高准确性与沟通方式,最终实现医疗知识的普及化。