构建了一个基于波你尼语法的检索增强生成(PRAG)框架,用于更安全的医疗AI——寻求反馈
摘要
PRAG框架将传统RAG与波你尼规则引擎相结合,用于更安全的医疗AI,在MedQA上实现了不安全答案减少71%。它提供可审计的规则追踪,并且是开源的。
大家好,​ 我是一名独立AI/ML研究员,一直在开发一个名为PRAG(基于波你尼语法的检索增强生成)的项目,用于安全关键的医疗AI。​ 其思路是将传统RAG与波你尼规则引擎相结合,该引擎灵感来源于Utsarga-Apavada、Paribhasha、Nitya-Anitya和Antaranga-Bahiranga等概念。目标不仅仅是提升检索效果,更是实现具有完整可审计规则追踪的更安全医疗推理。​ 当前成果:
• 与标准RAG相比,不安全医疗答案减少71%
• 基于MedQA数据集
• 在18本医学教科书上进行检索(约51k个片段)
• 每个决策都包含可解释的规则追踪
​ GitHub: https://github.com/yuvrajrajput/PRAG
​ 我正在准备我的第一篇arXiv投稿,投往cs.AI领域。作为首次投稿的独立研究者,我在提交前需要arXiv的认可。​ 我真诚地希望获得:​ 1. 对该项目的技术反馈 2. 改进评估方法的建议 3. 有arXiv投稿经验的研究者的指导 4. 如果有熟悉该工作的人认为它合适,关于认可流程的建议 ​ 感谢您的时间。我很乐意分享论文草稿并详细讨论方法论。
相似文章
SEMA-RAG:一种用于医学推理的自进化多智能体检索增强生成框架
SEMA-RAG是一种自进化多智能体RAG框架,用于医学问答,它将解读、探索和裁决解耦为三个专业智能体,在多个基准测试中相较于基线取得了显著的准确率提升。
MA-RAG: 用于查询驱动的纵向帕金森病评估摘要的多智能体检索增强生成
MA-RAG是一个多智能体检索增强生成框架,用于查询驱动的纵向帕金森病临床评估摘要,与基线方法相比,在事实精度上实现了显著改进,并降低了幻觉率。
评估检索增强生成与长上下文输入在电子健康记录临床推理中的比较
本文评估了检索增强生成(RAG)与长上下文提示在电子健康记录临床推理任务中的表现,发现RAG在令牌效率上具有竞争力,尤其在影像提取和抗生素时间线重建方面表现突出。
ReliableRAG:通过可靠性引导推理链对抗检索增强生成中的虚假信息
ReliableRAG 是一个可靠性驱动的框架,旨在通过评估细粒度信息三元组来对抗检索增强生成系统中的虚假信息,用于多跳问答,以确保准确且忠实的答案。
面向Agentic RAG管道的贝叶斯不确定性传播:关于多跳问答的概念验证研究
本文提出了一种面向Agentic RAG系统的贝叶斯不确定性传播框架,并在使用GPT模型的多跳问答基准上进行了评估,显示出在工业决策支持中监控可靠性的潜力。