面向长文档的更优向量搜索:Manticore Search 中的文档分块技术
摘要
Manticore Search 引入了针对向量搜索的自动文档分块功能,通过将长文档分割为多个分块并为每个分块生成嵌入向量,从而提升长文档的召回率。
暂无内容
查看缓存全文
缓存时间: 2026/09/17 12:09
# 在 Manticore Search 中优化长文档的向量搜索:分块策略解析
来源:https://manticoresearch.com/blog/auto-chunking/
假设您正在为团队的内部文档(如指南、运维手册、事后分析报告)构建搜索系统。您已通过 `auto embeddings` 功能(https://manticoresearch.com/blog/auto-embeddings/)创建了数据表:只需插入文本,Manticore 会自动运行模型并填充向量列。(如果您对此不熟悉,建议先阅读 Manticore 的向量搜索指南:https://manticoresearch.com/blog/vector-search/)。现在您插入一篇 4,000 词的文档——插入成功,搜索正常,一切看似完美。
但问题在于:您选择的模型仅有 512 个 token 的输入窗口,而这篇文档约有 5,000 个 token。模型只读取了前 380 个词,剩余 3,600 个词被直接丢弃。文档后半部分内容永远无法被检索,且系统不会给出任何提示。最终生成的向量甚至可能无法准确代表文档整体语义。
此前,您通常需要手动将文档拆分为多个片段,为每个片段生成向量,然后在搜索时设法将结果重新整合为完整文档。现在,Manticore 通过表定义解决了这一问题:只需在 `CREATE TABLE` 语句中的向量列添加 `chunk_strategy` 参数,Manticore 就会自动将文档分块、生成每个块的向量,并在搜索时覆盖所有块:
```sql
CREATE TABLE docs (
title text,
content text,
chunks float_vector_array knn_type='hnsw' hnsw_similarity='cosine'
model_name='Xenova/all-MiniLM-L6-v2' from='title,content'
chunk_strategy='sentence' max_tokens='256' overlap_tokens='32'
);
```
此功能无需额外配置摄取管道、分块库或第二张分块表,也无需使用 `GROUP BY` 将块级结果折叠回文档级。
## 核心要点速览
- **五种分块策略**:`truncate`(旧版默认)、`mean`、`fixed`、`recursive`、`sentence`。通过模型支持的向量列中的 `chunk_strategy` 参数设置。
- **`truncate` 和 `mean`**:为整个文档生成单个向量,使用 `float_vector` 列。**`fixed`、`recursive` 和 `sentence`**:生成多个向量,需使用 `float_vector_array`(https://manual.manticoresearch.com/Creating_a_table/Data_types#Float-vector-array)列。
- **文档仍作为单一搜索结果**:各分块独立竞争匹配,Manticore 仅返回文档一次,并通过 `knn_dist()` 报告其与最相似分块的距离。`k` 值统计的是文档数量而非分块数。
- **可调参数**:`max_tokens`(分块大小)、`overlap_tokens`(相邻分块的重叠 token 数)、`max_chunks`(每文档分块上限)。
- **Manticore 手册实测数据**(189 页,约 298k 词):对于超出模型窗口的深层内容,召回率@5 从 **55.1% 提升至 83.3%**,MRR 从 **0.44 提升至 0.70**,内存占用约增加 2.5 倍,摄取时间约增加 4 倍。
- **查询始终不分块**:查询文本通常较短,可直接整体生成向量;仅对存储的文档进行分块处理。
## 问题演示:小型示例
假设您有四篇文档:
1. **备份与恢复运维手册**——约 700 词(900 token)。内容涵盖备份计划、保留策略、恢复演练、凭证管理、容量规划。*最后章节*说明了如何轮换复制端口使用的 TLS 证书。
2. **监控与告警指南**——内容无关。
3. **CLI 入门指南**——内容无关。
4. **HTTP API 的 TLS 与证书管理**——简短页面,*完全围绕证书*,未提及轮换或复制。
通过以下命令创建表并插入文档:
```sql
CREATE TABLE docs (
title text,
body text,
v_truncate float_vector knn_type='hnsw' hnsw_similarity='cosine'
model_name='Xenova/all-MiniLM-L6-v2' from='title,body',
v_mean float_vector knn_type='hnsw' hnsw_similarity='cosine'
model_name='Xenova/all-MiniLM-L6-v2' from='title,body' chunk_strategy='mean',
v_sentence float_vector_array knn_type='hnsw' hnsw_similarity='cosine'
model_name='Xenova/all-MiniLM-L6-v2' from='title,body'
chunk_strategy='sentence' max_tokens='128' overlap_tokens='32'
);
```
```sql
INSERT INTO docs (id, title, body) VALUES
(1, '备份与恢复运维手册',
'每晚 UTC 02:00 从备用节点执行全量备份。任务会快照所有表目录、生成清单并上传至对象存储。保留策略为:30 份每日备份、12 份每月备份、1 份年度备份。每月首个周一在临时集群执行恢复演练。只有当恢复数据的全文搜索结果与生产环境文档数量完全一致时,演练才算通过。任何差异均视为演练失败,需当周排查。恢复前需冻结目标集群,防止文件替换期间发生写入。首先复制清单文件并校验其校验和。若校验和不匹配则立即终止——不完整的恢复比不恢复更危险,因为集群可能静默启动并提供残缺数据。文件就位后解冻集群,让复制追赶上进度。监控队列深度:若十分钟内未清空,节点可能仍在从冷存储读取数据,需预热后才能提供流量。备份失败会触发值班工程师告警。常见三大原因:对象存储凭证过期、快照写入时磁盘已满、前次失败运行遗留的冻结表。三者均可在不丢失数据的情况下恢复。排查顺序:先检查任务日志,再检查磁盘,最后检查所有表的冻结状态。备份容量规划虽繁琐但至关重要。每日备份大小约为数据目录的 115%(含清单和元数据)。乘以保留份数加上传输成本即为月度账单。多数团队往往过早发现年度备份占据主要存储开销。对象存储生命周期规则可简化保留管理:每日备份 7 天后转为低频访问,30 天后过期;每月备份 60 天后归档;年度备份永不过期,删除需手动操作并经二级审批。备份任务凭证存储于密钥管理器,绑定至角色而非个人。该角色可写入新对象并列出存储桶,但不可删除对象,也无法读取当日之前的对象——这是防止备份执行器沦为数据泄露通道的最低成本防护方案。每张表的文档应与表结构并列说明:用途、负责人、预期容量及是否可从上游重建。可重建的表无需保留 30 份每日备份。多数集群中约半数数据是未标记的衍生数据。验证≠任务退出码 0。任务可能成功生成不可用的副本:空表、截断的上传、引用未写入文件的清单。验证步骤需读回清单,检查所有引用对象存在且大小匹配,并与生产环境的三张抽样表进行行数对比。复制端口的 TLS 证书轮换是独立流程,也是最易出错的环节。保护复制端口的证书与 HTTP API 使用的证书不同,替换其中一个不会影响另一个。需先在待轮换节点生成新密钥和签名请求,使用集群证书颁发机构签署,并将文件放置在现有文件旁边(勿覆盖)。然后更新节点配置指向新路径并重新加载。逐节点轮换,确认集群报告所有节点同步后再进行下一步。若集群同时存在两个不同颁发机构的证书,会持续接受双侧写入并悄然分叉。所有节点轮换完成后,需删除旧密钥材料并在颁发机构吊销已退役证书。'),
(2, '监控与告警指南',
'所有节点通过 HTTP 端点导出指标,采集频率为每 15 秒一次。仪表盘分为四行:流量、延迟、饱和度、错误。流量按表分解的每秒查询数。延迟为服务端测量的第 95 和 99 百分位查询时间。告警策略力求精简:仅在错误率持续五分钟超过 1%、第 99 百分位延迟持续十分钟超过 2 秒、节点脱离集群时触发分页告警。其他情况均创建工单而非直接告警。频繁对异常进行告警的团队通常一个月内就会忽视告警。日志保留期为热数据 14 天、冷数据 90 天。查询日志记录查询文本、表名、匹配数量和耗时。开启查询日志会消耗数个百分点的吞吐量,但通常值得,因为多数性能调查都始于某个未被察觉的慢查询。'),
(3, 'CLI 入门指南',
'命令行客户端通过 MySQL 协议连接,因此任何 MySQL 客户端均可使用,无需安装特殊工具。指向端口 9306 即可获得交互式 Shell。Shell 支持常用便捷功能:历史记录、表名补全、行宽超出终端时的垂直输出。可先列出所有表,然后用 SHOW CREATE TABLE 查看具体表结构。输出内容是重建该表的完整语句(包含所有隐式选项),这是了解表实际功能而非两年前文档记录的最快方式。虽可通过 Shell 批量加载,但通常不推荐。处理数千行以上数据时,请使用 HTTP 批量端点或日志采集器集成——它们都支持批量处理和自动重试。'),
(4, 'HTTP API 的 TLS 与证书管理',
'HTTP API 可通过 TLS 提供服务。您需提供证书、私钥和可选的证书链文件,监听器将启用 HTTPS。客户端证书可用于身份验证——这是保护内部 API 的常规方式,避免在配置文件中存储密码。HTTP API 的证书可来自您的组织获取证书的任何渠道:公共颁发机构、内部颁发机构或自动签发器。文件格式为 PEM。证书和私钥必须可被服务器运行用户读取,且私钥不可全局可读(否则监听器拒绝启动)。TLS 问题调试主要依赖握手日志分析:提示未知颁发机构通常缺失证书链;主机名不匹配通常因通过非证书内的地址连接;客户端挂起通常是用 TLS 连接明文端口。');
```
现在针对每种策略,提出一个答案位于运维手册末尾的问题:
```sql
SELECT title, knn_dist() FROM docs
WHERE knn(v_truncate, 4, '如何轮换复制使用的 TLS 证书');
SELECT title, knn_dist() FROM docs
WHERE knn(v_mean, 4, '如何轮换复制使用的 TLS 证书');
SELECT title, knn_dist() FROM docs
WHERE knn(v_sentence, 4, '如何轮换复制使用的 TLS 证书');
```
| 策略 | 首位结果 | 次位结果 |
|------------------------------|--------------------------------------------------------------------------|--------------------------------------------------------------------------|
| `truncate`(默认) | **HTTP API 的 TLS 与证书管理** — 距离 0.762 | 备份与恢复运维手册 — 距离 0.936 |
| `mean` | 备份与恢复运维手册 — 距离 0.656 | HTTP API 的 TLS 与证书管理 — 距离 0.762 |
| `sentence`(128 token, 32 重叠) | 备份与恢复运维手册 — **距离 0.254** | HTTP API 的 TLS 与证书管理 — 距离 0.700 |
使用 `truncate` 策略时,真正回答问题的文档反而输给仅*看似*关于证书的干扰项。这是因为该手册的单一向量仅基于开头的备份和恢复段落生成——模型只能读取这部分内容。
而 `sentence` 分块策略将该手册存储为九个向量:
```sql
SELECT id, title, LENGTH(v_sentence) AS chunks FROM docs ORDER BY id ASC;
```
```sql
+------+---------------------------------------+--------+
| id | title | chunks |
+------+---------------------------------------+--------+
| 1 | 备份与恢复运维手册 | 9 |
| 2 | 监控与告警指南 | 2 |
| 3 | CLI 入门指南 | 2 |
| 4 | HTTP API 的 TLS 与证书管理 | 2 |
+------+---------------------------------------+--------+
```
其中一个分块恰好是证书轮换段落。它与查询几乎完全匹配,因此该文档以显著优势胜出(距离 0.254 vs 0.700)。
## 分块策略详解
| 策略 | 每文档向量数 | 列类型 | 工作原理 |
|------------|--------------|-------------------|--------------------------------------------------------------------------|
| `truncate` | 1 | `float_vector` | 嵌入模型窗口能容纳的内容,丢弃其余部分。旧版本的唯一模式,现仍为默认策略。 |
| `mean` | 1 | `float_vector` | 分割文档、嵌入所有片段,平均生成单个向量。 |
| `fixed` | N | `float_vector_array` | 按 `max_tokens` 生成固定大小的窗口。 |
| `recursive`| N | `float_vector_array` | 按分隔符层级(段落→行→句子→空格)分割,确保每块不超过 `max_tokens`。 |
| `sentence` | N | `float_vector_array` | 按句子边界分割(Unicode UAX #29 规范),每块上限为 `max_tokens`。 |
关键区别不在于文本如何切割,而在于匹配*意味着什么*。
当每个文档只有一个向量时,搜索问题是:**“这个文档整体是否与查询相似?”** 一个相关段落会被周围内容稀释,覆盖五个主题的文档最终可能无法匹配任何主题。
当每个分块有独立向量时,搜索问题是:**“这个文档是否*包含*与查询相似的内容?”** 每个分块独立竞争,Manticore 仅返回文档一次,并根据其最佳分块评分。
### `truncate` 策略——适用于短文档
```sql
title text,
v float_vector knn_type='hnsw' hnsw_similarity='cosine'
model_name='Xenova/all-MiniLM-L6-v2' from='title'
```
这是您已有的配置;`chunk_strategy='truncate'` 是默认策略,无需显式声明。当文本确实能装入模型窗口时——这是正确选择,且最快、占用最小。适用场景:产品标题、短描述、标签、聊天记录、日志行、搜索查询、提交信息。
**能装多少?** 比多数人预想的多,比期望的少。`all-MiniLM-L6-v2` 支持 512 token(约 380 个英文词),`text-embedding-3-small` 支持 8,192 token。如果您的文档第 95 百分位长度舒适地低于限制,请停止阅读并继续使用 `truncate`。
**何时产生危害:** 任何长文本内容。文档页面、知识库文章、合同、会议记录、邮件线程、Wiki 页面、README 文件、事件事后报告。
### `mean` 策略——单向量覆盖整个文档
```sql
v float_vector knn_type='hnsw' hnsw_similarity='cosine'
model_name='Xenova/all-MiniLM-L6-v2' from='title,content'
chunk_strategy='mean'
```
Manticore 分割文档、嵌入所有分块,并将分块向量平均为单个归一化向量。存储与搜索成本与 `truncate` 相同——每个文档一个向量、一个 HNSW 节点——但不会丢弃任何内容。
**适用场景:**
- 需要尾部内容参与匹配,但无法承担更多向量开销——超大规模语料库中索引内存紧张时。
相似文章
迷失于单一向量:通过分块证据聚合改进长文档检索
本文识别出长文档稠密检索中的文档侧早期压缩这一失败模式,并引入证据稀释指数(EDI)来衡量该问题。作者提出DICE,一种无需训练的方法,将文档分割成块,独立编码,然后聚合为单一向量,显著改进了长文档的检索效果。
Manticore Search 27.1.5: 身份验证、分片、对话式搜索与更快的向量搜索
Manticore Search 27.1.5 引入了内置身份验证、分片表、对话式搜索以及更快的 HNSW 向量搜索,同时修复并改进了复制、KNN 等多个方面。
Mongo 的向量搜索性能
本文讨论了 MongoDB 向量搜索功能的性能,可能与其他解决方案进行了比较,或强调了针对 AI 工作负载的改进。
当更多文档损害RAG:通过领域限定、模型无关的检索缓解向量搜索稀释
本文识别了RAG系统在扩展到大规模异构文档集合时出现的“向量搜索稀释”现象,并提出MASDR-RAG,一种利用组织元数据进行领域限定的检索方法,显著提升了检索准确率。
Manticore Search中的KNN提前终止
Manticore Search引入了针对基于HNSW的KNN向量搜索的提前终止机制,对于较大的k值,可减少多达80%的距离计算,同时保持精度在全搜索的2-4%以内。