llm-compression

本研究揭示了一个“智能剪枝悖论”：诸如 Wanda 等激活感知剪枝方法虽然保持了困惑度，但在边缘设备上部署的大语言模型中显著放大了偏见。

腾讯 AngelSlim 团队发布了 Hy-MT1.5-1.8B-1.25bit，这是一款高度压缩的 1.25 位机器翻译模型，支持 33 种语言，体积仅 440MB，可在设备端运行。该模型采用 Sherry 量化算法，实现了世界一流的翻译质量，可与体积大得多的模型相媲美。