@simplifyinAI:RAG彻底过时了。IBM研究人员构建了一个检索器,产生的无效章节引用比微调基线少65倍……

X AI KOLs Timeline 论文

摘要

IBM研究人员提出了STAIR,一种利用文档目录进行结构化检索的检索器,在SearchTome基准上达到82.6%的top-1章节准确率,无效章节引用比微调DSI基线少65倍。

RAG彻底过时了。 IBM研究人员构建了一个检索器,产生的无效章节引用比微调基线少65倍。 RAG会在AI回答问题之前提供相关文档让它阅读,但找到正确的信息仍然是个难题。 许多系统将文档切分成小块,却丢失了章节标题和结构,而这些恰恰有助于理解信息的归属。 IBM的方法名为STAIR,正是利用了这种结构。 可以想象一下:翻开一本书的目录页,先找到合适的章节,再去阅读。 STAIR利用目录来引导检索,定位最可能包含答案的章节。 在SearchTome基准测试中(涵盖六大领域的18本书),它有82.6%的概率第一次就检索到正确章节。微调后的DSI基线为76.6%……76.9%。 无效章节引用从3.25%降至0.05%。65倍的数字就是这么来的。它衡量的是检索引用,而非最终答案中的幻觉。 对于需要在冗长手册、政策文件和技术文档中搜索的企业来说,这是一个很有前景的改进。 它仍需在真实企业数据上进行测试,但保留文档结构可能有助于智能体在回答前找到更好的证据。
查看原文
查看缓存全文

缓存时间: 2026/11/01 13:55

RAG 正式宣告出局。

IBM 的研究人员构建了一个检索器,其无效章节引用比微调基线减少了 65 倍。

RAG 会在回答前给 AI 提供相关文档供其阅读。但找到正确的信息仍然是个问题。

许多系统将文档拆分成块,丢失了有助于说明信息归属的章节标题和结构。

IBM 的方法 STAIR 正是利用了这种结构。

想象一下,在阅读之前先打开书的目录页,找到正确的章节。

STAIR 利用目录来引导检索,指向最可能包含答案的章节。

在 SearchTome 上——一个涵盖六大领域 18 本书的基准测试——它首次检索正确章节的比例达到 82.6%。微调后的 DSI 基线为 76.9%。

无效章节引用从 3.25% 降至 0.05%。这就是 65 倍数据的来源。它衡量的是检索引用,而非最终答案中的幻觉。

对于需要搜索长篇手册、政策和技术文档的企业来说,这是一个有前景的改进。

它仍需在真实企业数据上进行测试,但保留文档结构或许能帮助智能体在回答前找到更优质的证据。

相似文章

@vintcessun: RAG喂太多文档,检索质量反而从75%掉到40%?向量搜索被大量无关内容稀释,真实部署中命中率暴跌。 问题根源:异构文档混在一起检索,噪声淹没了信号。多智能体编排看似智能,实际引入精度-忠实度悖论——配置稍差就两头不讨好。 论文提出的MA…

X AI KOLs Timeline

This paper identifies 'vector search dilution' in RAG systems when scaling to large heterogeneous document collections, where accuracy dropped from 75% to 40% in a real-world deployment. The proposed MASDR-RAG method uses domain scoping via organizational metadata before retrieval, improving P@10 from 0.77 to 0.86 with low cost and easy deployment.