寻找贡献者 - 基于trie的内存高效LLM运行器
摘要
SALT 是一个开源工具,它使用关键词 trie 将长文档压缩成固定大小的纯文本提示,供 LLM 使用,以避免主题塌陷,并在令牌预算内高效选择信息丰富的句子。
查看缓存全文
缓存时间: 2026/07/21 06:38
oteomamo/SALT 来源:https://github.com/oteomamo/SALT # SALT ## 基于显著感知的词汇树实现长上下文压缩
> [!NOTE]
下一步计划
- MCP 服务器 – 提供一个
salt-mcp入口点,使 AI 客户端无需 REPL 即可使用 SALT 作为对话记忆。- 尾部感知记忆选择 – 停止在模型已经在最近消息中读到的文本上浪费记忆预算。
- 增量压缩 – 复用上一轮的压缩结果,而不是每一轮都重新构建整个选择。
- 记忆开关正式化 – 根据真实会话数据,决定哪些默认关闭的记忆行为应成为默认开启。
- 脚本化对话运行 – 围绕
--turns提供更丰富的工具,用于驱动和评分长预设对话。
SALT 在将长文档发送给语言模型之前,将其压缩到固定大小,保留信息量最大的句子。它适用于任何模型,生成更短的纯文本提示,并减少长输入所需的计算量、内存和等待时间。
问题所在。 当提示过长时,现有压缩器为每个句子分配一个相关性分数,并保留分数最高的句子直到预算耗尽。在预算紧张的情况下,文档的主要主题会吞掉整个预算,导致较小但依然重要的点被丢弃——这种失败称为主题崩溃(例如,在多跳问题中,它可能保留关于主要实体的段落,却丢失了将其与另一个实体联系起来的唯一一个句子)。
解决方案。 SALT 首先将文档中反复出现的主题映射出来,方法是将每个句子的关键词组织成一个字典树(trie),这是一个按关键词出现频率排序的小型关键词树;然后,在选择句子之前,将预算分散到这些主题分支上,从而使次要主题保持其份额,而不会被淹没。由于主题映射只构建一次,可以在对话的多轮中复用,无需重新读取文档。
论文中描述的旧版选择器标记为
v1.0.0(https://github.com/oteomamo/SALT/releases/tag/v1.0.0)。main分支现在默认使用下文描述的 coverage/CELF 选择器。
📑 目录
🧩 架构
两个阶段。索引阶段读取文档一次,构建一个关键词字典树——一个可复用的文档主题映射。选择阶段在 token 预算下选择一个句子子集,按原始文档顺序返回,可选择是否受查询影响。
索引 —— 每篇文档一次,跨轮次和预算复用
文档 → 分割+垃圾过滤 → 每句关键词(BGE-small [CLS] 注意力 + 膝盖截断)→ 主题显著度(SF = 包含该词的句子数,上分位数)→ 关键词字典树(每个句子的主题,按 SF 排序,形成从根到叶的路径,叶子节点存储句子 ID)
选择 —— 每次预算,可有查询
使用 CELF 惰性贪心最大化主题覆盖:被选中的价值在其主题分支被填充时递减,从而使预算分散到各主题而非集中在主导主题上。查询通过词汇+BGE 语义对字典树重新加权,无需重建。
→ 压缩后的提示,原始顺序,≤ 预算
整个系统的蓝图——这张图会随着 SALT 的发展保持更新,因此是查找更改所属位置的最快方式:
┌──────────────────────────────────────────────────────────────────────────┐
│ SALT │
│ │
│ ┌────────────────────┐ ┌────────────────────┐ ┌────────────────────┐ │
│ │ 索引 │ │ 关键词字典树 │ │ 选择 │ │
│ │ │ │ │ │ │ │
│ │ BGE-small 编码器 │ │ 按 SF 排序的路径 │ │ 覆盖(CELF) │ │
│ │ 注意力关键词 │ │ 主题分支 │ │ 分支折扣 │ │
│ │ 膝盖截断 │ │ §文件: 文档分支 │ │ 多锚点查询 │ │
│ │ 垃圾过滤 │ │ 廉价重建 │ │ ≤ 词预算 │ │
│ └────────────────────┘ └────────────────────┘ └────────────────────┘ │
│ │
│ ┌────────────────────┐ ┌────────────────────┐ ┌────────────────────┐ │
│ │ 会话字典树 │ │ 提示组装 │ │ 聊天运行器 │ │
│ │ │ │ │ │ │ │
│ │ 每次对话一个 │ │ 稳定前缀在前 │ │ HF 流式 │ │
│ │ 存于 DRAM │ │ 只追加尾部 │ │ vLLM + APC(可选) │ │
│ │ 每轮增长 │ │ 记忆+问题 │ │ vllm-serve 客户端 │ │
│ │ 跨轮覆盖 │ │ instructions.md │ │ 模型注册表 │ │
│ │ + 半衰期衰减 │ │ │ │ GPU 固定模型 │ │
│ │ + 近似重复门控 │ │ │ │ │ │
│ │ + 后台摄取 │ │ │ │ │ │
│ └────────────────────┘ └────────────────────┘ └────────────────────┘ │
│ │
│ ┌────────────────────────────────────────────────────────────────────┐ │
│ │ 文档摄取(salt@ 文件,salt --doc) │ │
│ │ pypdf 提取 · 格式清理 · 跨浮动框的段落合并 · 表格+伪代码按标题分组 │ │
│ │ 脚注隔离 · 保留标题、面板标签和公式 · 删除参考文献列表 │ │
│ └────────────────────────────────────────────────────────────────────┘ │
│ │
│ ┌────────────────────────────────────────────────────────────────────┐ │
│ │ 字典树形状 - 根节点绑定对话 │ │
│ │ ● 根节点 - 对话绑定 │ │
│ │ ┌─────────────────────────┼─────────────────────────┐ │ │
│ │ │ §file:paper.pdf §file:notes.txt 对话 │ │ │
│ │ │ ┌────────┴────────┐ │ │ │
│ │ │ 关键词路径 关键词路径 主题A 主题B │ │ │
│ │ │ │ │ │ │ │ │ │
│ │ │ 句子 句子 句子 句子 │ │ │
│ │ 每一轮:≤ 预算分散到各分支(CELF 折扣) │ │ │
│ │ 未索引的尾部 - 逐字记录 - 位于字典树之外,作为提示的稳定近期窗口 │ │ │
│ └────────────────────────────────────────────────────────────────────┘ │
│ │
│ ┌────────────────────────────────────────────────────────────────────┐ │
│ │ 提示布局(针对 KV 缓存优化) │ │
│ │ [系统:指令 · 文件清单 · attach@ 完整文档] → [尾部:近期交流 - │ │
│ │ 只追加、块压缩] → [最新用户消息:SALT 记忆(≈20% 选择)+ 问题] │ │
│ │ 稳定前缀 = 可复用 KV ──── 新鲜后缀 = 每轮预填充 │ │
│ └────────────────────────────────────────────────────────────────────┘ │
│ │
│ ┌────────────────────────────────────────────────────────────────────┐ │
│ │ kvtrace - 每轮 KV 账本 │ │
│ │ read(复用)/ write(新写)/ output · events.jsonl + tokens.npy │ │
│ │ 使用键:input (write) · input_cached_tokens (read) · output │ │
│ │ apc 字段:引擎测量的前缀缓存复用(vllm + vllm-serve) │ │
│ └────────────────────────────────────────────────────────────────────┘ │
│ │
│ ┌────────────────────────────────────────────────────────────────────┐ │
│ │ 入口点 │ │
│ │ salt(一次性:--data / --doc)· saltChat · saltServe · eval.py │ │
│ │ salt@ 字典树附加 · attach@ 全文 · /doc /model /budget /stats │ │
│ └────────────────────────────────────────────────────────────────────┘ │
└──────────────────────────────────────────────────────────────────────────┘
各阶段对应的代码位置:
| 阶段 | 代码 |
|---|---|
| 分割 + 垃圾过滤 | salt/engine/embedder.py, salt/engine/sentence_filter.py |
| 关键词、BGE 编码、主题分析 | salt/engine/trie_core.py |
| 覆盖选择(默认) | salt/engine/celf.py |
| 流水线运行器 | salt/engine/compressor.py |
Few-shot 绕过(trec, triviaqa, samsum) | salt/engine/fewshot.py |
数据集适配器(--synthetic, --code) | salt/engine/dataset_modes.py |
| 多轮会话存储 | salt/engine/session_trie.py |
| 聊天文本处理(逐字存储、短轮次) | salt/engine/chat_text.py, salt/chat/shortturn.py |
| 后台摄取工作线程(聊天) | salt/chat/ingest.py |
文档摄取(PDF/文本清理,salt@, --doc) | salt/chat/pdfio.py |
| 聊天 REPL + 模型注册表 | salt/chat/, salt/models/ |
持久化服务(saltServe,服务客户端) | salt/chat/serve.py, salt/chat/runner_serve.py |
多 GPU 放置(--gpu 列表) | salt/chat/runner.py, salt/chat/serve.py |
| CLI 入口点 | salt (salt/compress.py), eval.py, saltChat, saltServe |
📦 安装
需要 Python 3.10 和 CUDA GPU(CPU 可用于压缩,但速度较慢)。
1. 克隆仓库
git clone https://github.com/oteomamo/SALT.git
cd SALT
2. 创建环境
使用 conda:
conda env create -f environment.yml
conda activate salt
或使用 venv:
python3.10 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
3. 以可编辑模式安装 SALT
pip install -e .
这会同时安装两个控制台命令:salt(一次性压缩,参见用法 (https://oteomamo.github.io/SALT/usage/))和 saltChat(交互式聊天,参见聊天机器人模式)。
4. 认证 Hugging Face – 评估模型(meta-llama/Llama-3.1-8B-Instruct)需要认证:
hf auth login
或者跳过 CLI 直接导出 token:export HF_TOKEN=hf_...。
5. (可选)vLLM 后端。 eval.py 默认使用 vLLM,saltChat --backend vllm 使用 vLLM 进行前缀缓存,saltServe 启动一个持久的模型服务器。将其安装到 salt 环境中:
pip install "vllm==0.11.0" "prometheus-fastapi-instrumentator>=8.0.1"
第二个固定版本确保服务器路由在新版 fastapi 下正常工作。跳过此步,使用 eval.py --backend hf 也可以无需 vLLM 运行。saltChat 默认已使用 HF 后端。saltServe 也可以通过 --vllm-bin 运行在单独环境中安装的 vLLM。
bash scripts/setup_env.sh一步完成步骤 2-3(添加WITH_VLLM=1可包含 vLLM)。
🚀 快速开始
获取 LongBench 数据,然后压缩每个任务并用一条命令评估输出:
python salt/datasets/download_longbench.py
bash scripts/run_datasets.sh
烟雾测试(每任务 5 个样本,仅压缩):
MAX_SAMPLES=5 RUN_EVAL=0 bash scripts/run_datasets.sh
该脚本自动将每个数据集路由到正确的模式,然后对结果评分。每个命令、标志和参数都在用法 (https://oteomamo.github.io/SALT/usage/) 和数据集 (https://oteomamo.github.io/SALT/datasets/) 页面中有文档说明。
🤖 聊天机器人模式
saltChat 是一个交互式聊天 REPL,其中 SALT 作为对话记忆:每个对话有一个持久的字典树,随着每次交流(以及任何附加文档)而增长,每轮将累积的历史压缩为一个基于查询的上下文块,在 token 预算下。
saltChat --model qwen05 --conversation-id demo1 --doc report.txt
使用 saltServe 启动的持久化服务器会在聊天之间保持模型加载和缓存预热,因此恢复对话无需重新读取文档。聊天机器人模式指南 (https://oteomamo.github.io/SALT/chatbot/) 涵盖了概念,服务 (https://oteomamo.github.io/SALT/serving/) 页面介绍了服务器,选项 (https://oteomamo.github.io/SALT/options/) 页面以一行一个列出了所有标志,包括默认关闭的开关,这些开关能让长会话效果更好。
🔬 结果
SALT(coverage/CELF 选择器)在使用 Llama-3.1-8B-Instruct 且 token 预算为 20% 的情况下,LongBench 平均分达到 44.60。完整的按数据集表格在结果 (https://oteomamo.github.io/SALT/results/) 页面上。
🔭 路线图
进行中:
- MCP 服务器 – 提供一个
salt-mcp入口点,将压缩和会话记忆暴露为工具,使 AI 客户端(Claude Code、Claude Desktop、Cursor)无需 REPL 即可使用 SALT 作为对话记忆。 - 尾部感知记忆选择 – 跳过模型已经在最近消息中逐字读到的句子,使记忆预算用于购买新上下文而非重复屏幕上已有的内容。
- 增量压缩 – 在只追加的对话中推进上一轮的选择工作,而不是每轮全部重做。
- 记忆开关正式化 – 多个记忆行为默认关闭(见选项 (https://oteomamo.github.io/SALT/options/) 页面),而来自真实会话的
/stats数字将决定哪些成为默认。 - 脚本化对话运行 – 围绕
--turns提供更丰富的工具,使预设对话可以驱动长会话并随后评分。
下一步:
- 摘要覆盖 – 扩展主题覆盖目标,更好地服务于摘要任务,其中对许多次要主题的召回最为重要。
🤝 贡献
欢迎提交 PR – 请参阅 CONTRIBUTING.md。
📝 参考文献
如果您发现此项目对您的研究有用,请考虑引用我们的论文:
@misc{mamo2026saltsalienceawarelexicaltrie,
title={SALT: Salience-Aware Lexical Trie for Long-Context Compression},
author={Oteo Mamo and Hyunjin Yi and Joydhriti Choudhury and Shangqian Gao and Weikuan Yu},
year={2026},
eprint={2607.17486},
archivePrefix={arXiv},
url={https://arxiv.org/abs/2607.17486}
}
📄 许可证
SALT 以 MIT 许可证 发布。
相似文章
@omarsar0: // 面向大语言模型的潜在语义记忆 // 这篇论文提出了一些关于智能体记忆的有趣发现……
论文介绍了 Memorilla 记忆系统,该系统将整个文档集合压缩为 16 个与查询相关的记忆 token,并应用于冻结参数的大语言模型。在 FactKG 基准测试中,其准确率达到 84.33%,超过全上下文推理的 80.43%,同时使用的 token 数量减少 108 倍,在八个基准测试中的五个上超越了 Mem0 和 MemoRAG 等基线方法。
使用确定性真实标签评估长文本生成中的LLM不确定性
引入SALT,一个具有确定性真实标签的基准,用于在长文本生成中评估LLM在细粒度原子级别的不确定性。对超过50个LLM的分析揭示了关于置信函数、错误传播以及与推理权衡的见解。
突破算力天花板:Galahad 的字节级精确记忆让 LLM 读取成为一次性成本
论文提出了一个面向 vLLM、SGLang 和 llama.cpp 的记忆层 Galahad,它缓存 KV 状态和文档文本,使同一 token 的重复读取变成一次性成本;与无状态服务基线和 RAG 相比,它实现了字节级精确的状态恢复,并显著提升了召回率、降低了能耗。
我构建了一个基于输入/聊天句子关键词的结构,该结构使用CELF仅检索KV缓存上的重要句子。
SALT是一个使用CELF从长文档中检索重要句子的工具,减少了语言模型中KV缓存的使用,以提高效率。作者正在寻求帮助,以根据输入查询优化检索预算百分比。
@athleticKoder:一篇关于LLM推理原理的1600字笔记,涵盖:1. 注意力机制——token交互的唯一场所 2. KV缓存——为何...
一篇详细阐述LLM推理关键概念的推文:注意力机制、KV缓存、分块预填充以及批处理技术,包括vLLM和SGLang中使用的连续批处理。