我在一个合成的医疗保健数据库上对RAG技术进行了基准测试。最大的收益来自文档结构，而不是模型调整。

Reddit r/LocalLLaMA 2026/07/03 02:28 论文

rag benchmarking synthetic-data healthcare document-shape retrieval-augmented-generation

摘要

一项使用合成医疗保健数据库对RAG技术进行的基准测试研究发现，优化文档结构比调整模型参数能带来更大的性能提升。

暂无内容

查看原文

相似文章

arXiv cs.CL

这项大规模研究涵盖 5 个模型（7B–72B）、10 个生物医学问答数据集、4 种检索方法和 4 个语料库，发现在生物医学问答任务中，RAG 相比无检索基线仅带来微小且不稳定的提升（1–2 个百分点）。研究得出结论：主要瓶颈并非检索质量，而是模型有效利用检索证据的能力有限。

arXiv cs.CL

本文通过一项实证研究，比较了来自四个库（Ragas、DeepEval、RAGChecker、Opik）的RAG评估指标与人工判断及标准召回指标，并基于商业数据创建了问答数据集。

Reddit r/AI_Agents

本文认为，大多数 RAG 基准测试具有误导性，因为它们假设语料库质量均匀，而真实世界的语料库在内容密度上差异很大。利用来自三个生产网站的数据，本文展示了一种分层方法和“产出分数”可以更好地预测检索效果。

arXiv cs.CL

本文介绍了HieraRAG，这是一种用于确定RAG基准最优粒度的层次化框架。它生成了跨三个维度的5,872个合成问答对，并发现理想粒度因维度而异，为从业者提供了一种可移植的程序。

X AI KOLs Timeline

研究人员引入了PageIndex，一种新颖的RAG方法，消除了对向量数据库、嵌入和分块的依赖，在FinanceBench上达到98.7%的准确率，优于现有方法，且免费开源。