标签
作者分享了一份面向 Agent 开发与面试的 RAG 与记忆系统学习路线,覆盖分块、混合检索、Rerank、向量数据库选型以及短期/长期记忆管理,并附上 Lewis 等人的 RAG 原始论文等参考资料。
本文作者探讨了RAG评估应如何区分系统回答"我不知道"的三种不同原因——检索失败、证据缺失和来源冲突——并提出了一种评估方法,该方法标注的是期望的未解决状态,而不是简单地将答案判定为正确、错误或拒绝回答。
Qwen 千万级文档 RAG 流水线通过混合检索、引用约束生成、声明级验证与校准弃权四层防线,将不可回答问题的幻觉率压至 2%,p95 延迟保持 18ms,是一套值得借鉴的生产级防幻觉架构。
本文介绍并审计了一个针对 Bengali 幻觉检测挑战赛(Olikbochon)的推理系统,该系统结合响应条件化查询重写、混合检索与任务特化的语言模型裁决,实现了 0.956 的私有宏 F1,同时指出语料重叠与运行不可复现性限制了其泛化性声明。
提出了一种面向消费银行搜索的证据门控双语RAG框架,结合混合密集-词法检索、交叉编码器重排序以及三态回答机制,在210条阿拉伯语和英语查询上将Top-1命中率从50.48%提升至79.05%。
该论文研究不确定性度量何时能有效衡量 RAG 幻觉风险,发现当检索证据充分约束答案时,困惑度能达到 0.81–0.91 AUROC,而检索覆盖不足时同一指标会失效,提出不确定性是条件性的幻觉风险度量。
我们提出 AuditKIT,一个源代码可用的评估库,将基准准确率、基于评判模型的评估、运行时性能、工具使用行为和检索质量统一到单一的结果表示中,并支持方向感知的指标契约与可扩展的后端。七个案例研究展示了答案抽取、运行时行为和指标选择如何改变大语言模型与智能体系统的评估结果。
该论文提出 ExecutionRAG,一种无需训练的需求寄存器机制,用于分析多跳 RAG 中 LLM 未能检索到证据的原因,发现许多检索失败实为搜索漂移,并指出剩余瓶颈从搜索引导转向证据充分性验证。
该论文提出 MeddeX 系统,结合 QLoRA 微调的 LLaMA-3 (8B)、报告级检索增强生成 (RAG) 以及 Gemini Vision 多模态层,实现对医疗报告的证据支撑式摘要与分析,并在 ROUGE、BLEU 和 BERTScore 上相对基线模型取得一致提升。
该论文提出 GraphRAG-LTM 分层威胁建模框架,测试三种攻击者访问层级(黑盒查询、白盒查询、图感知白盒),发现检索排序操纵与关键三元组删除能显著削弱 GraphRAG 的答案质量与支撑事实检索。
svpino 推介开源工具 XERJ Corpus Hub,它可作为代理的"参考记忆"引擎接入任意 AI 模型,通过本地索引的代码、文档与安全知识库进行检索,让代理无需再训练即可提升表现。
该论文提出了 SEEDS,一种由预览引导的搜索智能体证据准入框架,可选择性地决定哪些检索候选内容应进入智能体的推理上下文,在九个知识密集型问答基准测试中提升搜索效果,同时减少完整证据的消耗。
研究人员推出了 GeopoliticalQA,这是一个基于 415 份地缘政治与战略情报报告、包含 5,525 个问答对的基准,用于评估 15 个检索系统和六个开放权重的大语言模型。他们发现,在文本块级检索中,中等规模的编码器 bge-m3 的表现可媲美或超越规模大得多的嵌入模型及商业嵌入模型,而对于推理类和风险导向的问题,即使提供标准证据,答案生成仍然困难。
提出 KnowForge,一种按角色分工的多智能体检索增强问答管线(定位器、桥接判断器、深度阅读器、综合器),在开放域多模态文档问答基准上显著超越单智能体检索增强生成(RAG)与已发布系统。
SignRAG 提出一个统一框架,结合分层预训练、目标域检索增强与检索效用引导的强化微调(RUG-RFT),将 decoder-only LLM 用于无词汇(gloss-free)手语翻译,在多个基准上达到 SOTA,并首次在 CSL-Daily 上全面超越有词汇监督的方法。
RAG-Stress 提出一个受控诊断协议,通过编辑检索证据中的单一断言来诱导错误答案,量化模型在检索增强生成中被误导证据覆盖正确答案的比率(misleading rate),并发现严格遵循文档的指令会系统性提高误导率。
RIT-RAG 提出一种结合内容检索与结构导航的检索增强生成方法:离线为每个文档从目录或站点地图构建树结构,查询时通过检索到的 chunk 位置归纳出可管理的子树,由 LLM 智能体导航并选择性阅读节点。在多个基准上超越现有方法,在其提出的 EntQABench 上较最强基线提升 6.8–11.4 个百分点。
一份生产级 RAG 检查清单,涵盖每个回答都附带引用、当上下文不足以支撑时不作答、不可绕过的访问控制,以及不阻塞用户的非阻塞式数据摄入,以 YouTube 教程视频形式分享。
作者分享对 GraphRAG 的兴趣,并尝试构建一个轻量本体论、无需向量搜索的 Jev-based GraphRAG 变体。
本文研究了强制大语言模型用与查询及检索文档相同的语言进行推理,是否能提升单语非英语 RAG 的性能。作者基于虚构世界 The Dark Eye 构建了德语 RAG 测试平台,发现将推理语言与证据语言对齐有所帮助(德语推理的表现优于法语推理,尽管模型的法语能力更强);但不受约束的母语英语推理仍然能达到与对齐设置相当的效果,这凸显了开发真正多语言推理模型的必要性。