标签
一个 'Ask HN' 帖子，用户分享他们当前的科技项目，包括一个无服务器预算工具、一个AI优先架构实验、文本压缩研究、一个微小的神经网络和一个体素游戏引擎。
本文介绍了扩散语言模型（DLMs）作为一种新的无损文本压缩推理范式，旨在克服基于自回归LLM的压缩器的吞吐量瓶颈，同时实现最先进的压缩率。
本文提出JOLT，一种整数规划方法，用于优化基于从左到右贪心最长匹配解码（WordPiece）的子词分词。JOLT实现了近乎最优的压缩，缩小了BPE与理论下界之间的大部分差距，使token数量相比BPE最多减少0.78%。
本文系统性地基准测试了多种删除策略（如频率引导、基于熵的）用于有损文本压缩，其中LLM重构原文，结果表明词频删除等简单方法在保留率范围内仍具竞争力。