@XiaohuiAI666: 你的 RAG 实现方法是错误的！ 传统 chunk 缺乏知识边界、版本信息和元数据，导致检索上下文缺失、版本混杂、权限控制困难。 作者提出的新方法以 IdeaBlock（问题-答案+治理字段）替代 chunk，实现结构化知识单元。 不改检…
摘要
作者提出以IdeaBlock（问题-答案+治理字段）替代传统chunk来改进RAG知识单元，已开源Blockify工具，可减少40倍语料、3倍token并提升2.3倍相关性。
查看缓存全文
缓存时间: 2026/06/22 11:44
你的 RAG 实现方法是错误的！
传统 chunk 缺乏知识边界、版本信息和元数据，导致检索上下文缺失、版本混杂、权限控制困难。
作者提出的新方法以 IdeaBlock（问题-答案+治理字段）替代 chunk，实现结构化知识单元。
不改检索算法，仅在上游数据层优化，可减少40倍语料、3倍 token，提升2.3倍相关性。
语义去重减少冗余向量，反而提升检索信号和准确率。
Blockify 提供七阶段管道（范围定义、摄入、提取、去重、标记、验证、导出）。
治理与版本控制内嵌数据层，查询更简单，更新仅需修改单一记录。
核心原则：修复知识单元而非下游补丁，已开源，可作为解析与向量库间蒸馏层。
相似文章
@akshay_pachaar: 朴素 RAG vs. Blockify！一种全新的 RAG 方案：- 语料库体积缩减 40 倍 - 每次查询 token 用量减少 3 倍 -…
Blockify 是一个新的开源 RAG 框架，以专利技术「IdeaBlocks」流水线取代传统分块方式，声称可实现语料库体积缩减 40 倍、token 使用效率提升 3 倍、向量搜索准确率提升 2.3 倍。它将企业文档转化为结构化 XML 知识单元，以实现更连贯的 LLM 检索效果。
Adaptive Chunking：为RAG优化分块方法选择
介绍Adaptive Chunking，一个利用五项文档内在指标为RAG选择最佳分块策略的框架，将答案正确率从62-64%提升至72%，并将问题解决率提高超过30%。
@freeman1266: 普通 RAG vs 知识图谱 RAG vs LLM Wiki——三种知识库检索方案，95% 的人选错了，不是因为不懂，是因为没认清自己的数据形态。 三句话讲清楚： 普通 RAG：把文档切成 chunk，向量化入库，问题来了找相似片段喂给 …
本文对比了普通RAG、知识图谱RAG和LLM Wiki三种知识库检索方案的适用场景与选型建议，强调根据数据形态选择正确方案，避免盲目使用复杂工具。
记录了不断破坏我的RAG系统的故障模式：分块、过期索引、混合搜索等
一位开发者分享了调试RAG系统时遇到的故障模式，包括分块、过期索引和混合搜索的问题，以及滑动窗口分块和上下文检索等实用修复方法。
@vintcessun: RAG喂太多文档，检索质量反而从75%掉到40%？向量搜索被大量无关内容稀释，真实部署中命中率暴跌。 问题根源：异构文档混在一起检索，噪声淹没了信号。多智能体编排看似智能，实际引入精度-忠实度悖论——配置稍差就两头不讨好。 论文提出的MA…
This paper identifies 'vector search dilution' in RAG systems when scaling to large heterogeneous document collections, where accuracy dropped from 75% to 40% in a real-world deployment. The proposed MASDR-RAG method uses domain scoping via organizational metadata before retrieval, improving P@10 from 0.77 to 0.86 with low cost and easy deployment.