我们可以用SLMs压缩数据吗？

Reddit r/LocalLLaMA 2026/07/03 03:34 论文

slm compression overfitting data-compression language-model efficiency

摘要

探讨了是否可以通过刻意对训练数据进行过拟合来使用小型语言模型（SLMs）实现无损数据压缩，反思机器学习中通常对过拟合的厌恶。

忘记对过拟合的妖魔化，当你只是获取大量训练数据并在其上过拟合模型时会发生什么？是否有可能以“完美”的精度实现有意义的压缩？

查看原文

相似文章

arXiv cs.CL

本文介绍了扩散语言模型（DLMs）作为一种新的无损文本压缩推理范式，旨在克服基于自回归LLM的压缩器的吞吐量瓶颈，同时实现最先进的压缩率。

arXiv cs.CL

本文评估了小型语言模型在公平性、鲁棒性、隐私和伦理方面的可信度，对比了预训练SLMs与压缩后的大模型，发现量化比剪枝能更好地保持可信度，且蒸馏可进一步提升可靠性。

Reddit r/singularity

探讨了非常小的语言模型是否能妥善处理日常对话，以及哪些训练因素使它们表现更佳。

Reddit r/ArtificialInteligence

ZeroGPU推出了针对广告技术任务的专用小语言模型（SLM），与大型语言模型相比，成本更低、性能更快。这些小语言模型在CPU上运行，已帮助早期采用者Dappier将费用降低了50%。

Reddit r/artificial

讨论了大语言模型（LLMs）与小语言模型（SLMs）之间的权衡，质疑在生产用例中是否总是需要更大的模型，并探讨了AI部署的未来。