无需修改权重即可去除大语言模型审查：注入一个小型训练KV缓存库（约18MB）并可随时卸载

Reddit r/ArtificialInteligence 工具
llm refusal-removal kv-cache open-source ai-safety machine-learning

摘要

phantom-kv是一款通过注入小型训练KV缓存库来去除大语言模型审查的工具，允许临时移除拒绝响应而无需修改模型权重。

我刚刚发布了一个过去几周一直在构建的项目：phantom-kv——一种用于大语言模型的拒绝响应移除系统，它不修改任何单一模型权重。phantom-kv不编辑检查点文件，而是将紧凑的、经过学习的键/值张量库直接注入模型的KV缓存中。注意力机制会处理这些张量，仿佛它们已经是对话历史的一部分。这将“去审查”从永久性模型修改转变为按需请求的热插拔能力模式。需要时加载缓存；移除后，原始模型保持字节级不变。现有的拒绝响应移除方法通常会在模型的持久部分进行修改或直接干预其内部计算：权重空间消融重写检查点文件。恢复它需要还原原始权重，且每次量化后可能都需要重复该过程。激活空间投影在推理过程中逐层逐个token移除预设的拒绝方向，使用引擎级钩子在运行时修改模型的信号通路。phantom-kv两者皆非。 https://preview.redd.it/pw47rtohhyqh1.png?width=3840&format=png&auto=webp&s=c656e5adff9d3dcc8410bb5f3e46053ecb223e9a 它使用模型自身的训练目标进行离线训练：鼓励对目标有害提示的遵从性，同时在无害输入上保持正常行为。生成的产物仅为几兆字节的KV缓存内容，而非全新的检查点。其影响完全通过模型已用于上下文的相同注意力通路进入。无需权重修改，无需前向传播钩子，无需假设拒绝可以简化为单一一维方向，也无需为每个新模型重新构建特定架构的引擎。 工具链接：https://github.com/lordx64/phantom-kv/ 更多信息来源：https://x.com/lordx64/status/2102138825292276168
查看原文

相似文章

信任质量：KV-Cache淘汰中的强制权重

arXiv cs.LG

本文分析了稀疏注意力模型中的KV-Cache淘汰策略，表明选择最大权重近乎最优，且已发表的差距源于内存和查询信息，其中ContourKV取得了强劲性能。

通过变换编码视角的KV缓存压缩

arXiv cs.LG

本文提出了注意力感知变换编码（AATC）用于压缩大语言模型中的KV缓存，通过注意力机制最小化失真，在约5.8倍压缩下实现了近乎无损的准确率。