chunking

本文针对土耳其语RAG系统，比较了分块与嵌入策略，并通过多配置系统研究评估了其对文档问答的影响。

来自MachineLearningMastery的一篇教育性文章，涵盖了RAG流水线的七种分块策略，从固定大小令牌分块到高级语义和层次化方法，并提供了每种策略的适用场景指导。

一个预测：Git无法被取代，但内容定义分块和Cloudflare Artifacts将改善大文件支持，并使仓库托管变得商品化。

本文讨论了RAG系统的五种分块策略，强调了检索精度与推理上下文之间的权衡，并指出适当的分块对于有效检索至关重要。

Jerry Liu强调了将智能体检索系统投入生产时所面临的工程挑战，指出成功的关键在于对分块、同步、重排序、工具API设计等细节进行精心调优，而非依赖新颖的技术。

一位开发者分享了AI代理在生产中失败的三个常见原因：RAG分块不佳、仅针对演示的提示词、以及缺乏回退逻辑，强调模型质量很少是主要问题。

一位开发者回顾调试RAG系统的经历，发现固定大小分块会破坏句子边界，向量搜索无法处理精确标识符（用BM25解决），以及过时索引导致自信的错误答案。

在三个生产网站上测试了用于RAG检索的分块与嵌入，发现收益率分数（高/中块的比例）可以预测语料库质量和重排序效果。

一位开发者分享了调试RAG系统时遇到的故障模式，包括分块、过期索引和混合搜索的问题，以及滑动窗口分块和上下文检索等实用修复方法。

作者认为大多数智能体RAG失败源于检索问题——具体包括分块错误、缺乏新鲜度信号以及依赖纯向量搜索——而非大语言模型本身，并建议采用结构化分块、基于衰减的排序以及BM25+向量的混合搜索。

本文评估了针对德国法律法规的检索增强生成中的多种分块策略，发现与结构对齐的方法（如基于章节的检索）优于更复杂的方案。

CHOP是一个通过使用上下文感知元数据和基于大语言模型的分块相关性评估来改进多文档检索RAG系统的框架，可以减少语义冲突和幻觉现象。该方法通过智能分块和上下文保留策略实现了90.77%的Top-1命中率。

介绍Adaptive Chunking，一个利用五项文档内在指标为RAG选择最佳分块策略的框架，将答案正确率从62-64%提升至72%，并将问题解决率提高超过30%。