从三个生产网站测试的分块与嵌入数据。[P]

Reddit r/MachineLearning 新闻

摘要

在三个生产网站上测试了用于RAG检索的分块与嵌入,发现收益率分数(高/中块的比例)可以预测语料库质量和重排序效果。

基于分层 + 页面角色感知的RAG检索结果,涉及3个内容密度迥异的语料库: |工作区|来源|块数|高|中|低|拒绝| |:-|:-|:-|:-|:-|:-|:-| |Intercom|188|941|96|200|541|104| |HubSpot|251|1705|40|508|1153|4| |KPMG|53|209|3|14|127|65| (高 = 平均操作分数0.84, 中 = 0.55-0.65, 低 = 0, 拒绝 = 导航/法律/招聘) Intercom的96个高块中有87个是帮助中心文章。HubSpot的高块是具体的案例研究(“ACV增长23%”)。KPMG的高块基本上是空的,因为整个语料库都是定位性文案。 对KPMG(最差语料库)的检索探查: * “家族企业传承” → /private-enterprise.html (余弦 0.721) * “ESG与气候风险” → /our-insights/esg.html (余弦 0.794) * “能源行业网络安全” → /energy-natural-resources-chemicals.html (余弦 0.656) 因此,即使在内容稀疏的语料库上,语义相关性也能正确路由。 分层权重(高×1.20)显著改变了top-k组成——在Q2查询上,一个余弦值为0.535的高块被重排序至余弦值0.6以上的低块之上(加权后0.642对比0.51-0.59)。 关键要点:“收益率分数”(高+中块数/总块数)本身就是一个有用的遥测指标。Intercom的该比率为31%,HubSpot为32%,KPMG为8%。这可以在生成之前预测哪些品牌需要更温和的主张和更具抗替换性的措辞。 有谁发布过关于此类语料库质量感知的基准?大多数RAG基准假设源材料具有统一实质性,这在实际情况中非常不真实。
查看原文

相似文章

Adaptive Chunking:为RAG优化分块方法选择

Papers with Code Trending

介绍Adaptive Chunking,一个利用五项文档内在指标为RAG选择最佳分块策略的框架,将答案正确率从62-64%提升至72%,并将问题解决率提高超过30%。