面向长文档的更优向量搜索:Manticore Search 中的文档分块技术

Hacker News Top 产品

摘要

Manticore Search 引入了针对向量搜索的自动文档分块功能,通过将长文档分割为多个分块并为每个分块生成嵌入向量,从而提升长文档的召回率。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/09/17 12:09

# 在 Manticore Search 中优化长文档的向量搜索:分块策略解析 来源:https://manticoresearch.com/blog/auto-chunking/ 假设您正在为团队的内部文档(如指南、运维手册、事后分析报告)构建搜索系统。您已通过 `auto embeddings` 功能(https://manticoresearch.com/blog/auto-embeddings/)创建了数据表:只需插入文本,Manticore 会自动运行模型并填充向量列。(如果您对此不熟悉,建议先阅读 Manticore 的向量搜索指南:https://manticoresearch.com/blog/vector-search/)。现在您插入一篇 4,000 词的文档——插入成功,搜索正常,一切看似完美。 但问题在于:您选择的模型仅有 512 个 token 的输入窗口,而这篇文档约有 5,000 个 token。模型只读取了前 380 个词,剩余 3,600 个词被直接丢弃。文档后半部分内容永远无法被检索,且系统不会给出任何提示。最终生成的向量甚至可能无法准确代表文档整体语义。 此前,您通常需要手动将文档拆分为多个片段,为每个片段生成向量,然后在搜索时设法将结果重新整合为完整文档。现在,Manticore 通过表定义解决了这一问题:只需在 `CREATE TABLE` 语句中的向量列添加 `chunk_strategy` 参数,Manticore 就会自动将文档分块、生成每个块的向量,并在搜索时覆盖所有块: ```sql CREATE TABLE docs ( title text, content text, chunks float_vector_array knn_type='hnsw' hnsw_similarity='cosine' model_name='Xenova/all-MiniLM-L6-v2' from='title,content' chunk_strategy='sentence' max_tokens='256' overlap_tokens='32' ); ``` 此功能无需额外配置摄取管道、分块库或第二张分块表,也无需使用 `GROUP BY` 将块级结果折叠回文档级。 ## 核心要点速览 - **五种分块策略**:`truncate`(旧版默认)、`mean`、`fixed`、`recursive`、`sentence`。通过模型支持的向量列中的 `chunk_strategy` 参数设置。 - **`truncate` 和 `mean`**:为整个文档生成单个向量,使用 `float_vector` 列。**`fixed`、`recursive` 和 `sentence`**:生成多个向量,需使用 `float_vector_array`(https://manual.manticoresearch.com/Creating_a_table/Data_types#Float-vector-array)列。 - **文档仍作为单一搜索结果**:各分块独立竞争匹配,Manticore 仅返回文档一次,并通过 `knn_dist()` 报告其与最相似分块的距离。`k` 值统计的是文档数量而非分块数。 - **可调参数**:`max_tokens`(分块大小)、`overlap_tokens`(相邻分块的重叠 token 数)、`max_chunks`(每文档分块上限)。 - **Manticore 手册实测数据**(189 页,约 298k 词):对于超出模型窗口的深层内容,召回率@5 从 **55.1% 提升至 83.3%**,MRR 从 **0.44 提升至 0.70**,内存占用约增加 2.5 倍,摄取时间约增加 4 倍。 - **查询始终不分块**:查询文本通常较短,可直接整体生成向量;仅对存储的文档进行分块处理。 ## 问题演示:小型示例 假设您有四篇文档: 1. **备份与恢复运维手册**——约 700 词(900 token)。内容涵盖备份计划、保留策略、恢复演练、凭证管理、容量规划。*最后章节*说明了如何轮换复制端口使用的 TLS 证书。 2. **监控与告警指南**——内容无关。 3. **CLI 入门指南**——内容无关。 4. **HTTP API 的 TLS 与证书管理**——简短页面,*完全围绕证书*,未提及轮换或复制。 通过以下命令创建表并插入文档: ```sql CREATE TABLE docs ( title text, body text, v_truncate float_vector knn_type='hnsw' hnsw_similarity='cosine' model_name='Xenova/all-MiniLM-L6-v2' from='title,body', v_mean float_vector knn_type='hnsw' hnsw_similarity='cosine' model_name='Xenova/all-MiniLM-L6-v2' from='title,body' chunk_strategy='mean', v_sentence float_vector_array knn_type='hnsw' hnsw_similarity='cosine' model_name='Xenova/all-MiniLM-L6-v2' from='title,body' chunk_strategy='sentence' max_tokens='128' overlap_tokens='32' ); ``` ```sql INSERT INTO docs (id, title, body) VALUES (1, '备份与恢复运维手册', '每晚 UTC 02:00 从备用节点执行全量备份。任务会快照所有表目录、生成清单并上传至对象存储。保留策略为:30 份每日备份、12 份每月备份、1 份年度备份。每月首个周一在临时集群执行恢复演练。只有当恢复数据的全文搜索结果与生产环境文档数量完全一致时,演练才算通过。任何差异均视为演练失败,需当周排查。恢复前需冻结目标集群,防止文件替换期间发生写入。首先复制清单文件并校验其校验和。若校验和不匹配则立即终止——不完整的恢复比不恢复更危险,因为集群可能静默启动并提供残缺数据。文件就位后解冻集群,让复制追赶上进度。监控队列深度:若十分钟内未清空,节点可能仍在从冷存储读取数据,需预热后才能提供流量。备份失败会触发值班工程师告警。常见三大原因:对象存储凭证过期、快照写入时磁盘已满、前次失败运行遗留的冻结表。三者均可在不丢失数据的情况下恢复。排查顺序:先检查任务日志,再检查磁盘,最后检查所有表的冻结状态。备份容量规划虽繁琐但至关重要。每日备份大小约为数据目录的 115%(含清单和元数据)。乘以保留份数加上传输成本即为月度账单。多数团队往往过早发现年度备份占据主要存储开销。对象存储生命周期规则可简化保留管理:每日备份 7 天后转为低频访问,30 天后过期;每月备份 60 天后归档;年度备份永不过期,删除需手动操作并经二级审批。备份任务凭证存储于密钥管理器,绑定至角色而非个人。该角色可写入新对象并列出存储桶,但不可删除对象,也无法读取当日之前的对象——这是防止备份执行器沦为数据泄露通道的最低成本防护方案。每张表的文档应与表结构并列说明:用途、负责人、预期容量及是否可从上游重建。可重建的表无需保留 30 份每日备份。多数集群中约半数数据是未标记的衍生数据。验证≠任务退出码 0。任务可能成功生成不可用的副本:空表、截断的上传、引用未写入文件的清单。验证步骤需读回清单,检查所有引用对象存在且大小匹配,并与生产环境的三张抽样表进行行数对比。复制端口的 TLS 证书轮换是独立流程,也是最易出错的环节。保护复制端口的证书与 HTTP API 使用的证书不同,替换其中一个不会影响另一个。需先在待轮换节点生成新密钥和签名请求,使用集群证书颁发机构签署,并将文件放置在现有文件旁边(勿覆盖)。然后更新节点配置指向新路径并重新加载。逐节点轮换,确认集群报告所有节点同步后再进行下一步。若集群同时存在两个不同颁发机构的证书,会持续接受双侧写入并悄然分叉。所有节点轮换完成后,需删除旧密钥材料并在颁发机构吊销已退役证书。'), (2, '监控与告警指南', '所有节点通过 HTTP 端点导出指标,采集频率为每 15 秒一次。仪表盘分为四行:流量、延迟、饱和度、错误。流量按表分解的每秒查询数。延迟为服务端测量的第 95 和 99 百分位查询时间。告警策略力求精简:仅在错误率持续五分钟超过 1%、第 99 百分位延迟持续十分钟超过 2 秒、节点脱离集群时触发分页告警。其他情况均创建工单而非直接告警。频繁对异常进行告警的团队通常一个月内就会忽视告警。日志保留期为热数据 14 天、冷数据 90 天。查询日志记录查询文本、表名、匹配数量和耗时。开启查询日志会消耗数个百分点的吞吐量,但通常值得,因为多数性能调查都始于某个未被察觉的慢查询。'), (3, 'CLI 入门指南', '命令行客户端通过 MySQL 协议连接,因此任何 MySQL 客户端均可使用,无需安装特殊工具。指向端口 9306 即可获得交互式 Shell。Shell 支持常用便捷功能:历史记录、表名补全、行宽超出终端时的垂直输出。可先列出所有表,然后用 SHOW CREATE TABLE 查看具体表结构。输出内容是重建该表的完整语句(包含所有隐式选项),这是了解表实际功能而非两年前文档记录的最快方式。虽可通过 Shell 批量加载,但通常不推荐。处理数千行以上数据时,请使用 HTTP 批量端点或日志采集器集成——它们都支持批量处理和自动重试。'), (4, 'HTTP API 的 TLS 与证书管理', 'HTTP API 可通过 TLS 提供服务。您需提供证书、私钥和可选的证书链文件,监听器将启用 HTTPS。客户端证书可用于身份验证——这是保护内部 API 的常规方式,避免在配置文件中存储密码。HTTP API 的证书可来自您的组织获取证书的任何渠道:公共颁发机构、内部颁发机构或自动签发器。文件格式为 PEM。证书和私钥必须可被服务器运行用户读取,且私钥不可全局可读(否则监听器拒绝启动)。TLS 问题调试主要依赖握手日志分析:提示未知颁发机构通常缺失证书链;主机名不匹配通常因通过非证书内的地址连接;客户端挂起通常是用 TLS 连接明文端口。'); ``` 现在针对每种策略,提出一个答案位于运维手册末尾的问题: ```sql SELECT title, knn_dist() FROM docs WHERE knn(v_truncate, 4, '如何轮换复制使用的 TLS 证书'); SELECT title, knn_dist() FROM docs WHERE knn(v_mean, 4, '如何轮换复制使用的 TLS 证书'); SELECT title, knn_dist() FROM docs WHERE knn(v_sentence, 4, '如何轮换复制使用的 TLS 证书'); ``` | 策略 | 首位结果 | 次位结果 | |------------------------------|--------------------------------------------------------------------------|--------------------------------------------------------------------------| | `truncate`(默认) | **HTTP API 的 TLS 与证书管理** — 距离 0.762 | 备份与恢复运维手册 — 距离 0.936 | | `mean` | 备份与恢复运维手册 — 距离 0.656 | HTTP API 的 TLS 与证书管理 — 距离 0.762 | | `sentence`(128 token, 32 重叠) | 备份与恢复运维手册 — **距离 0.254** | HTTP API 的 TLS 与证书管理 — 距离 0.700 | 使用 `truncate` 策略时,真正回答问题的文档反而输给仅*看似*关于证书的干扰项。这是因为该手册的单一向量仅基于开头的备份和恢复段落生成——模型只能读取这部分内容。 而 `sentence` 分块策略将该手册存储为九个向量: ```sql SELECT id, title, LENGTH(v_sentence) AS chunks FROM docs ORDER BY id ASC; ``` ```sql +------+---------------------------------------+--------+ | id | title | chunks | +------+---------------------------------------+--------+ | 1 | 备份与恢复运维手册 | 9 | | 2 | 监控与告警指南 | 2 | | 3 | CLI 入门指南 | 2 | | 4 | HTTP API 的 TLS 与证书管理 | 2 | +------+---------------------------------------+--------+ ``` 其中一个分块恰好是证书轮换段落。它与查询几乎完全匹配,因此该文档以显著优势胜出(距离 0.254 vs 0.700)。 ## 分块策略详解 | 策略 | 每文档向量数 | 列类型 | 工作原理 | |------------|--------------|-------------------|--------------------------------------------------------------------------| | `truncate` | 1 | `float_vector` | 嵌入模型窗口能容纳的内容,丢弃其余部分。旧版本的唯一模式,现仍为默认策略。 | | `mean` | 1 | `float_vector` | 分割文档、嵌入所有片段,平均生成单个向量。 | | `fixed` | N | `float_vector_array` | 按 `max_tokens` 生成固定大小的窗口。 | | `recursive`| N | `float_vector_array` | 按分隔符层级(段落→行→句子→空格)分割,确保每块不超过 `max_tokens`。 | | `sentence` | N | `float_vector_array` | 按句子边界分割(Unicode UAX #29 规范),每块上限为 `max_tokens`。 | 关键区别不在于文本如何切割,而在于匹配*意味着什么*。 当每个文档只有一个向量时,搜索问题是:**“这个文档整体是否与查询相似?”** 一个相关段落会被周围内容稀释,覆盖五个主题的文档最终可能无法匹配任何主题。 当每个分块有独立向量时,搜索问题是:**“这个文档是否*包含*与查询相似的内容?”** 每个分块独立竞争,Manticore 仅返回文档一次,并根据其最佳分块评分。 ### `truncate` 策略——适用于短文档 ```sql title text, v float_vector knn_type='hnsw' hnsw_similarity='cosine' model_name='Xenova/all-MiniLM-L6-v2' from='title' ``` 这是您已有的配置;`chunk_strategy='truncate'` 是默认策略,无需显式声明。当文本确实能装入模型窗口时——这是正确选择,且最快、占用最小。适用场景:产品标题、短描述、标签、聊天记录、日志行、搜索查询、提交信息。 **能装多少?** 比多数人预想的多,比期望的少。`all-MiniLM-L6-v2` 支持 512 token(约 380 个英文词),`text-embedding-3-small` 支持 8,192 token。如果您的文档第 95 百分位长度舒适地低于限制,请停止阅读并继续使用 `truncate`。 **何时产生危害:** 任何长文本内容。文档页面、知识库文章、合同、会议记录、邮件线程、Wiki 页面、README 文件、事件事后报告。 ### `mean` 策略——单向量覆盖整个文档 ```sql v float_vector knn_type='hnsw' hnsw_similarity='cosine' model_name='Xenova/all-MiniLM-L6-v2' from='title,content' chunk_strategy='mean' ``` Manticore 分割文档、嵌入所有分块,并将分块向量平均为单个归一化向量。存储与搜索成本与 `truncate` 相同——每个文档一个向量、一个 HNSW 节点——但不会丢弃任何内容。 **适用场景:** - 需要尾部内容参与匹配,但无法承担更多向量开销——超大规模语料库中索引内存紧张时。

相似文章

迷失于单一向量:通过分块证据聚合改进长文档检索

arXiv cs.CL

本文识别出长文档稠密检索中的文档侧早期压缩这一失败模式,并引入证据稀释指数(EDI)来衡量该问题。作者提出DICE,一种无需训练的方法,将文档分割成块,独立编码,然后聚合为单一向量,显著改进了长文档的检索效果。

Mongo 的向量搜索性能

Reddit r/LocalLLaMA

本文讨论了 MongoDB 向量搜索功能的性能,可能与其他解决方案进行了比较,或强调了针对 AI 工作负载的改进。

Manticore Search中的KNN提前终止

Hacker News Top

Manticore Search引入了针对基于HNSW的KNN向量搜索的提前终止机制,对于较大的k值,可减少多达80%的距离计算,同时保持精度在全搜索的2-4%以内。