寻找贡献者 - 基于trie的内存高效LLM运行器

Reddit r/artificial 工具

摘要

SALT 是一个开源工具,它使用关键词 trie 将长文档压缩成固定大小的纯文本提示,供 LLM 使用,以避免主题塌陷,并在令牌预算内高效选择信息丰富的句子。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/07/21 06:38

oteomamo/SALT 来源:https://github.com/oteomamo/SALT # SALT ## 基于显著感知的词汇树实现长上下文压缩 > [!NOTE]

下一步计划

  • MCP 服务器 – 提供一个 salt-mcp 入口点,使 AI 客户端无需 REPL 即可使用 SALT 作为对话记忆。
  • 尾部感知记忆选择 – 停止在模型已经在最近消息中读到的文本上浪费记忆预算。
  • 增量压缩 – 复用上一轮的压缩结果,而不是每一轮都重新构建整个选择。
  • 记忆开关正式化 – 根据真实会话数据,决定哪些默认关闭的记忆行为应成为默认开启。
  • 脚本化对话运行 – 围绕 --turns 提供更丰富的工具,用于驱动和评分长预设对话。

SALT 在将长文档发送给语言模型之前,将其压缩到固定大小,保留信息量最大的句子。它适用于任何模型,生成更短的纯文本提示,并减少长输入所需的计算量、内存和等待时间。

问题所在。 当提示过长时,现有压缩器为每个句子分配一个相关性分数,并保留分数最高的句子直到预算耗尽。在预算紧张的情况下,文档的主要主题会吞掉整个预算,导致较小但依然重要的点被丢弃——这种失败称为主题崩溃(例如,在多跳问题中,它可能保留关于主要实体的段落,却丢失了将其与另一个实体联系起来的唯一一个句子)。

解决方案。 SALT 首先将文档中反复出现的主题映射出来,方法是将每个句子的关键词组织成一个字典树(trie),这是一个按关键词出现频率排序的小型关键词树;然后,在选择句子之前,将预算分散到这些主题分支上,从而使次要主题保持其份额,而不会被淹没。由于主题映射只构建一次,可以在对话的多轮中复用,无需重新读取文档。

论文中描述的旧版选择器标记为 v1.0.0 (https://github.com/oteomamo/SALT/releases/tag/v1.0.0)。main 分支现在默认使用下文描述的 coverage/CELF 选择器。

📑 目录

🧩 架构

两个阶段。索引阶段读取文档一次,构建一个关键词字典树——一个可复用的文档主题映射。选择阶段在 token 预算下选择一个句子子集,按原始文档顺序返回,可选择是否受查询影响。

索引 —— 每篇文档一次,跨轮次和预算复用
文档 → 分割+垃圾过滤 → 每句关键词(BGE-small [CLS] 注意力 + 膝盖截断)→ 主题显著度(SF = 包含该词的句子数,上分位数)→ 关键词字典树(每个句子的主题,按 SF 排序,形成从根到叶的路径,叶子节点存储句子 ID)
选择 —— 每次预算,可有查询
使用 CELF 惰性贪心最大化主题覆盖:被选中的价值在其主题分支被填充时递减,从而使预算分散到各主题而非集中在主导主题上。查询通过词汇+BGE 语义对字典树重新加权,无需重建。
→ 压缩后的提示,原始顺序,≤ 预算

整个系统的蓝图——这张图会随着 SALT 的发展保持更新,因此是查找更改所属位置的最快方式:

┌──────────────────────────────────────────────────────────────────────────┐
│ SALT                                                                     │
│                                                                          │
│  ┌────────────────────┐  ┌────────────────────┐  ┌────────────────────┐  │
│  │     索引           │  │   关键词字典树      │  │     选择           │  │
│  │                    │  │                    │  │                    │  │
│  │ BGE-small 编码器   │  │ 按 SF 排序的路径    │  │ 覆盖(CELF)       │  │
│  │ 注意力关键词      │  │ 主题分支            │  │ 分支折扣           │  │
│  │ 膝盖截断          │  │ §文件: 文档分支     │  │ 多锚点查询         │  │
│  │ 垃圾过滤          │  │ 廉价重建            │  │ ≤ 词预算           │  │
│  └────────────────────┘  └────────────────────┘  └────────────────────┘  │
│                                                                          │
│  ┌────────────────────┐  ┌────────────────────┐  ┌────────────────────┐  │
│  │ 会话字典树         │  │ 提示组装            │  │ 聊天运行器         │  │
│  │                    │  │                    │  │                    │  │
│  │ 每次对话一个       │  │ 稳定前缀在前        │  │ HF 流式            │  │
│  │ 存于 DRAM          │  │ 只追加尾部          │  │ vLLM + APC(可选) │  │
│  │ 每轮增长           │  │ 记忆+问题           │  │ vllm-serve 客户端  │  │
│  │ 跨轮覆盖           │  │ instructions.md     │  │ 模型注册表         │  │
│  │ + 半衰期衰减       │  │                    │  │ GPU 固定模型       │  │
│  │ + 近似重复门控     │  │                    │  │                    │  │
│  │ + 后台摄取         │  │                    │  │                    │  │
│  └────────────────────┘  └────────────────────┘  └────────────────────┘  │
│                                                                          │
│  ┌────────────────────────────────────────────────────────────────────┐  │
│  │ 文档摄取(salt@ 文件,salt --doc)                                │  │
│  │ pypdf 提取 · 格式清理 · 跨浮动框的段落合并 · 表格+伪代码按标题分组  │  │
│  │ 脚注隔离 · 保留标题、面板标签和公式 · 删除参考文献列表              │  │
│  └────────────────────────────────────────────────────────────────────┘  │
│                                                                          │
│  ┌────────────────────────────────────────────────────────────────────┐  │
│  │ 字典树形状 - 根节点绑定对话                                         │  │
│  │                                    ● 根节点 - 对话绑定              │  │
│  │          ┌─────────────────────────┼─────────────────────────┐      │  │
│  │          │ §file:paper.pdf  §file:notes.txt   对话             │      │  │
│  │          │              ┌────────┴────────┐                    │      │  │
│  │          │ 关键词路径   关键词路径    主题A   主题B              │      │  │
│  │          │    │            │           │       │                │      │  │
│  │          │  句子          句子        句子    句子               │      │  │
│  │ 每一轮:≤ 预算分散到各分支(CELF 折扣)                          │      │  │
│  │ 未索引的尾部 - 逐字记录 - 位于字典树之外,作为提示的稳定近期窗口  │      │  │
│  └────────────────────────────────────────────────────────────────────┘  │
│                                                                          │
│  ┌────────────────────────────────────────────────────────────────────┐  │
│  │ 提示布局(针对 KV 缓存优化)                                       │  │
│  │ [系统:指令 · 文件清单 · attach@ 完整文档] → [尾部:近期交流 -     │  │
│  │ 只追加、块压缩] → [最新用户消息:SALT 记忆(≈20% 选择)+ 问题]      │  │
│  │ 稳定前缀 = 可复用 KV ──── 新鲜后缀 = 每轮预填充                    │  │
│  └────────────────────────────────────────────────────────────────────┘  │
│                                                                          │
│  ┌────────────────────────────────────────────────────────────────────┐  │
│  │ kvtrace - 每轮 KV 账本                                            │  │
│  │ read(复用)/ write(新写)/ output · events.jsonl + tokens.npy     │  │
│  │ 使用键:input (write) · input_cached_tokens (read) · output        │  │
│  │ apc 字段:引擎测量的前缀缓存复用(vllm + vllm-serve)               │  │
│  └────────────────────────────────────────────────────────────────────┘  │
│                                                                          │
│  ┌────────────────────────────────────────────────────────────────────┐  │
│  │ 入口点                                                             │  │
│  │ salt(一次性:--data / --doc)· saltChat · saltServe · eval.py      │  │
│  │ salt@ 字典树附加 · attach@ 全文 · /doc /model /budget /stats        │  │
│  └────────────────────────────────────────────────────────────────────┘  │
└──────────────────────────────────────────────────────────────────────────┘

各阶段对应的代码位置:

阶段代码
分割 + 垃圾过滤salt/engine/embedder.py, salt/engine/sentence_filter.py
关键词、BGE 编码、主题分析salt/engine/trie_core.py
覆盖选择(默认)salt/engine/celf.py
流水线运行器salt/engine/compressor.py
Few-shot 绕过(trec, triviaqa, samsum)salt/engine/fewshot.py
数据集适配器(--synthetic, --code)salt/engine/dataset_modes.py
多轮会话存储salt/engine/session_trie.py
聊天文本处理(逐字存储、短轮次)salt/engine/chat_text.py, salt/chat/shortturn.py
后台摄取工作线程(聊天)salt/chat/ingest.py
文档摄取(PDF/文本清理,salt@, --doc)salt/chat/pdfio.py
聊天 REPL + 模型注册表salt/chat/, salt/models/
持久化服务(saltServe,服务客户端)salt/chat/serve.py, salt/chat/runner_serve.py
多 GPU 放置(--gpu 列表)salt/chat/runner.py, salt/chat/serve.py
CLI 入口点salt (salt/compress.py), eval.py, saltChat, saltServe

📦 安装

需要 Python 3.10 和 CUDA GPU(CPU 可用于压缩,但速度较慢)。

1. 克隆仓库

git clone https://github.com/oteomamo/SALT.git
cd SALT

2. 创建环境

使用 conda:

conda env create -f environment.yml
conda activate salt

或使用 venv:

python3.10 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

3. 以可编辑模式安装 SALT

pip install -e .

这会同时安装两个控制台命令:salt(一次性压缩,参见用法 (https://oteomamo.github.io/SALT/usage/))和 saltChat(交互式聊天,参见聊天机器人模式)。

4. 认证 Hugging Face – 评估模型(meta-llama/Llama-3.1-8B-Instruct)需要认证:

hf auth login

或者跳过 CLI 直接导出 token:export HF_TOKEN=hf_...。

5. (可选)vLLM 后端。 eval.py 默认使用 vLLM,saltChat --backend vllm 使用 vLLM 进行前缀缓存,saltServe 启动一个持久的模型服务器。将其安装到 salt 环境中:

pip install "vllm==0.11.0" "prometheus-fastapi-instrumentator>=8.0.1"

第二个固定版本确保服务器路由在新版 fastapi 下正常工作。跳过此步,使用 eval.py --backend hf 也可以无需 vLLM 运行。saltChat 默认已使用 HF 后端。saltServe 也可以通过 --vllm-bin 运行在单独环境中安装的 vLLM。

bash scripts/setup_env.sh 一步完成步骤 2-3(添加 WITH_VLLM=1 可包含 vLLM)。

🚀 快速开始

获取 LongBench 数据,然后压缩每个任务并用一条命令评估输出:

python salt/datasets/download_longbench.py
bash scripts/run_datasets.sh

烟雾测试(每任务 5 个样本,仅压缩):

MAX_SAMPLES=5 RUN_EVAL=0 bash scripts/run_datasets.sh

该脚本自动将每个数据集路由到正确的模式,然后对结果评分。每个命令、标志和参数都在用法 (https://oteomamo.github.io/SALT/usage/) 和数据集 (https://oteomamo.github.io/SALT/datasets/) 页面中有文档说明。

🤖 聊天机器人模式

saltChat 是一个交互式聊天 REPL,其中 SALT 作为对话记忆:每个对话有一个持久的字典树,随着每次交流(以及任何附加文档)而增长,每轮将累积的历史压缩为一个基于查询的上下文块,在 token 预算下。

saltChat --model qwen05 --conversation-id demo1 --doc report.txt

使用 saltServe 启动的持久化服务器会在聊天之间保持模型加载和缓存预热,因此恢复对话无需重新读取文档。聊天机器人模式指南 (https://oteomamo.github.io/SALT/chatbot/) 涵盖了概念,服务 (https://oteomamo.github.io/SALT/serving/) 页面介绍了服务器,选项 (https://oteomamo.github.io/SALT/options/) 页面以一行一个列出了所有标志,包括默认关闭的开关,这些开关能让长会话效果更好。

🔬 结果

SALT(coverage/CELF 选择器)在使用 Llama-3.1-8B-Instruct 且 token 预算为 20% 的情况下,LongBench 平均分达到 44.60。完整的按数据集表格在结果 (https://oteomamo.github.io/SALT/results/) 页面上。

🔭 路线图

进行中:

  • MCP 服务器 – 提供一个 salt-mcp 入口点,将压缩和会话记忆暴露为工具,使 AI 客户端(Claude Code、Claude Desktop、Cursor)无需 REPL 即可使用 SALT 作为对话记忆。
  • 尾部感知记忆选择 – 跳过模型已经在最近消息中逐字读到的句子,使记忆预算用于购买新上下文而非重复屏幕上已有的内容。
  • 增量压缩 – 在只追加的对话中推进上一轮的选择工作,而不是每轮全部重做。
  • 记忆开关正式化 – 多个记忆行为默认关闭(见选项 (https://oteomamo.github.io/SALT/options/) 页面),而来自真实会话的 /stats 数字将决定哪些成为默认。
  • 脚本化对话运行 – 围绕 --turns 提供更丰富的工具,使预设对话可以驱动长会话并随后评分。

下一步:

  • 摘要覆盖 – 扩展主题覆盖目标,更好地服务于摘要任务,其中对许多次要主题的召回最为重要。

🤝 贡献

欢迎提交 PR – 请参阅 CONTRIBUTING.md。

📝 参考文献

如果您发现此项目对您的研究有用,请考虑引用我们的论文:

@misc{mamo2026saltsalienceawarelexicaltrie,
      title={SALT: Salience-Aware Lexical Trie for Long-Context Compression}, 
      author={Oteo Mamo and Hyunjin Yi and Joydhriti Choudhury and Shangqian Gao and Weikuan Yu},
      year={2026},
      eprint={2607.17486},
      archivePrefix={arXiv},
      url={https://arxiv.org/abs/2607.17486}
}

📄 许可证

SALT 以 MIT 许可证 发布。

相似文章

@omarsar0: // 面向大语言模型的潜在语义记忆 // 这篇论文提出了一些关于智能体记忆的有趣发现……

X AI KOLs Following

论文介绍了 Memorilla 记忆系统,该系统将整个文档集合压缩为 16 个与查询相关的记忆 token,并应用于冻结参数的大语言模型。在 FactKG 基准测试中,其准确率达到 84.33%,超过全上下文推理的 80.43%,同时使用的 token 数量减少 108 倍,在八个基准测试中的五个上超越了 Mem0 和 MemoRAG 等基线方法。