标签
DeltaX 是一个基于Apache许可的PostgreSQL扩展,为时序数据提供压缩和列式存储,是TimescaleDB或ClickHouse的快速替代方案,同时将数据保留在PostgreSQL中。
本文研究了训练后量化如何在指令调优的大语言模型中引入新偏见,发现3位精度导致6-21%之前无偏见的项目发展出刻板印象,而像困惑度这样的标准指标未能检测到这种退化。
研究将双E8(E16)格点瓶颈激活注入Transformer残差流,发现一个尖锐的稳定性阈值β=0.20,超过该阈值生成会崩溃为重复循环。该现象在Qwen2.5模型规模上泛化,并展示了压缩潜力。
ZIP Shrinker 是一款浏览器工具,通过使用 libdeflate 重新压缩、移除元数据和目录条目来减小 ZIP 文件大小,并支持 APK 和 EPUB 等格式。
HodgeCover 使用高阶拓扑覆盖来压缩稀疏混合专家层,通过解决成对信号遗漏的不可归约可合并性障碍,在专家缩减方面匹配最先进的基线,并在激进压缩方面领先。
一个用Rust编写的RAR压缩格式实现,主要由AI语言模型(OpenAI Codex和Claude)编写。如果手动开发可能需要数年时间,但该项目在数周内以低成本完成。
KVServe是一个服务感知框架,用于分离式LLM服务中的自适应KV缓存压缩,实现了高达9倍的作业完成时间加速和32倍的首Token时间降低。
本文通过训练近1300个模型,系统推导了压缩感知的神经缩放定律,证明了广泛使用的每参数20个词元的启发式方法是由特定分词器造成的。作者提出了基于字节的分词器无关缩放定律,为跨多样语言和模态的计算高效训练提供了新框架。
Context Mode is a tool that solves AI agent context problems by sandboxing tool outputs and persisting sessions, achieving up to 98% compression of Playwright snapshots and using BM25 retrieval to reduce context window usage. It supports 15 platforms including Claude Code, Gemini CLI, VS Code Copilot, and is used by major tech companies.
本文介绍了一种固定契约诊断工具,用于分析KV缓存压缩方法在长上下文LLM推理中成功或失败的原因。文章确定了三种故障模式——遗漏证据、对无关token进行评分以及破坏相关证据——并在LongBench和NeedleBench上对这些模式进行了评估。
本文提出了隐式压缩正则化(ICR),一种旨在解决大语言模型在强化学习后训练期间过度思考问题的方法,引导模型生成简洁且准确的推理轨迹。
本文提出了 LKV,这是一种通过端到端学习基于 Attention Head 的预算分配与 Token 选择策略来优化大语言模型 KV 缓存淘汰的方法,在实现高压缩率的同时取得了最先进的性能表现。
本文介绍了 LiVeAction,这是一种专为资源受限设备上的实时操作而设计的轻量级神经编解码器。它利用类 FFT 结构和基于方差的率失真惩罚,在保持低功耗传感器实用性的同时,实现了卓越的率失真性能。
本文介绍了 MiA-Signature,这是一种大语言模型(LLM)中全局激活模式的压缩表示,旨在提升长上下文理解能力。该方法提出使用基于次模性的选择策略来近似完整的激活状态,从而在检索增强生成(RAG)和智能体系统中带来性能提升。
社区讨论:Google TurboQuant 压缩是否已可用于 llama-server 的 KV cache,还是仍在等待实现。
一篇新论文提出了一种基于概率语言Trie树和预测差分编码的顺序KV缓存压缩方法。该方法通过利用语言模型Token的序列结构而非对向量进行独立处理,实现了超越TurboQuant约91.4万倍的理论压缩比。
本文系统地评估了令牌剪枝这一压缩技术在韩语中心的LLM任务上的应用,该技术通过移除与无关语言对应的令牌和嵌入参数来压缩模型。研究评估了流行的多语言模型(Qwen3、Gemma-3、Llama-3、Aya)在不同词汇配置下的表现,发现令牌剪枝能显著改进生成稳定性并降低特定领域部署的内存占用。