标签
提出了一种基于Kolmogorov–Arnold Networks（KAN）的非线性投影方法来增强低秩分解，用于NLP嵌入层压缩，实验表明该方法在固定维度下能生成更忠实的压缩嵌入。
Samsung Labs 释出 LittleBit 项目（NeurIPS 2025 / ICML 2026），通过潜在空间低秩分解与二值化实现大语言模型的亚 1-bit（低至 0.1 bpw）压缩，并在 LittleBit-2 中引入 Joint-ITQ 潜在几何对齐初始化以提升性能。
本文介绍了NOMADD，一种事后方法，通过在标记周期上拟合基础模型并外推压缩后的参数变化，来减少表格模型中的概念漂移。它以极低的训练和推理成本，实现了与Drift-Resilient TabPFN相当的性能。
本文实证研究了在无需训练的LLM压缩方法ROCKET中，使分配成本与输出空间目标对齐是否能提升压缩模型保真度。结果显示准确率与困惑度之间存在权衡，且在高压缩比下效果更为显著。