从三个生产网站测试的分块与嵌入数据。[P]
摘要
在三个生产网站上测试了用于RAG检索的分块与嵌入,发现收益率分数(高/中块的比例)可以预测语料库质量和重排序效果。
基于分层 + 页面角色感知的RAG检索结果,涉及3个内容密度迥异的语料库:
|工作区|来源|块数|高|中|低|拒绝|
|:-|:-|:-|:-|:-|:-|:-|
|Intercom|188|941|96|200|541|104|
|HubSpot|251|1705|40|508|1153|4|
|KPMG|53|209|3|14|127|65|
(高 = 平均操作分数0.84, 中 = 0.55-0.65, 低 = 0, 拒绝 = 导航/法律/招聘)
Intercom的96个高块中有87个是帮助中心文章。HubSpot的高块是具体的案例研究(“ACV增长23%”)。KPMG的高块基本上是空的,因为整个语料库都是定位性文案。
对KPMG(最差语料库)的检索探查:
* “家族企业传承” → /private-enterprise.html (余弦 0.721)
* “ESG与气候风险” → /our-insights/esg.html (余弦 0.794)
* “能源行业网络安全” → /energy-natural-resources-chemicals.html (余弦 0.656)
因此,即使在内容稀疏的语料库上,语义相关性也能正确路由。
分层权重(高×1.20)显著改变了top-k组成——在Q2查询上,一个余弦值为0.535的高块被重排序至余弦值0.6以上的低块之上(加权后0.642对比0.51-0.59)。
关键要点:“收益率分数”(高+中块数/总块数)本身就是一个有用的遥测指标。Intercom的该比率为31%,HubSpot为32%,KPMG为8%。这可以在生成之前预测哪些品牌需要更温和的主张和更具抗替换性的措辞。
有谁发布过关于此类语料库质量感知的基准?大多数RAG基准假设源材料具有统一实质性,这在实际情况中非常不真实。
相似文章
"大多数 RAG 基准测试对真实世界的语料库存在误导" 来自3个生产网站的测试数据。
本文认为,大多数 RAG 基准测试具有误导性,因为它们假设语料库质量均匀,而真实世界的语料库在内容密度上差异很大。利用来自三个生产网站的数据,本文展示了一种分层方法和“产出分数”可以更好地预测检索效果。
土耳其语RAG系统中分块与嵌入策略的比较
本文针对土耳其语RAG系统,比较了分块与嵌入策略,并通过多配置系统研究评估了其对文档问答的影响。
Adaptive Chunking:为RAG优化分块方法选择
介绍Adaptive Chunking,一个利用五项文档内在指标为RAG选择最佳分块策略的框架,将答案正确率从62-64%提升至72%,并将问题解决率提高超过30%。
@TeachTheMachine:决定你的RAG是否有效的7种分块策略
来自MachineLearningMastery的一篇教育性文章,涵盖了RAG流水线的七种分块策略,从固定大小令牌分块到高级语义和层次化方法,并提供了每种策略的适用场景指导。
低资源语言农业文档中有效文本嵌入的分块策略评估
本文评估了四种用于高棉语农业文档检索增强生成(RAG)的文本分块策略,发现基于字符的递归分块(300字符)在检索和相关性方面表现最佳。