标签
一篇社区帖子讨论了 ISTA 的 GSQ-RCO 量化方法与 Unsloth 之间的竞争，指出两支团队的竞争让用户受益，获得更好的量化模型，同时质疑 ISTA 为何不公布其量化模型的 KLD 指标。
ISTA DASLab 发布了 DeepSeek-V4.1-Flash-1017 的 Coder 版本，这是一个 763B 稀疏 MoE 模型，通过 GSQ 量化和基于 RCO 的专家剪枝（384 个专家中保留 192 个）压缩到每个 transformer 参数约 1 bit，在 72.1 GB 的 GGUF 中保留了 LiveCodeBench v6 98.7% 和 SWE-bench Verified 94.8% 的性能。
TinyAstral 通过带有统计验收测试的递归自我改进，演进冻结教师模型的智能体框架，再将改进成果蒸馏到一个 40 亿参数的学生模型中，仅用约五分之一的加速器时间，就在 RoboTwin 上取得了与教师模型相当的成功率（62.8% 对 63.6%）。
OpenBonsai 是一个 Apache-2.0 许可的后训练三值量化框架，可将 BF16 模型和微调压缩为约 2 GB 的三值 GGUF 文件，兼容 Prism 的 PTQ1_0 格式，并通过 Qwen3.5-9B（18 GB → 2 GB）验证了效果。
提出一种层级低秩重参数化方法，将PEFT方法的可训练参数重组为近似方阵并递归进行低秩分解，可在压缩约一个数量级参数的同时保持甚至提升LoRA/DoRA在常识推理与数学推理任务上的性能。
论文提出 WISD（弱化诱导的同策略自蒸馏），通过将大型推理模型与其量化弱化版本进行对比来生成训练信号，在无需特权数据的情况下实现自蒸馏，在数学与代码推理基准上平均提升 4.0–5.5 个百分点，并达到最先进性能。
kaitchup 发布了 Qwen3.8-27B 的统计无损 SLQ 量化 GGUF 版本，提供三种精度目标变体（EAR98、EAR98.5、EAR99），通过在 498 个矩阵上混合供体量化权重构建而成。
GS-MoE 介绍了一种免训练的 MoE 压缩框架，通过分组子空间共享（低秩）与基于 Nyström 的神经元剪枝两条压缩轴同时削减专家参数；在 DeepSeek-MoE-16B-Base 上以 60% 参数压缩保留约 90% 的推理性能，优于 D2-MoE 的 73%。
论文提出 S-SALAAD 框架，在训练中联合学习模型权重及其低秩与结构化稀疏分量，配合预算感知压缩和专用 CPU/GPU 内核，将单个检查点的弹性压缩性转化为更低的内存占用与推理延迟，适用于边缘设备部署。
该论文表明，使用 top-k 选择代替经校准的阈值时，MoE 通道选择器无需离线校准数据；同时提出了一种由权重推导的读取器（三值草图 + 低秩映射），仅需读取 17.8% 的路由专家权重即可保持 98.1% 的准确率，并使 MoE 模块相较于优化后的 vLLM 实现 1.60–2.69 倍加速。
EDWARD-NMT 提出了一种弹性 MoE 编码器-解码器架构，通过 Matryoshka 式弹性维度、自适应 sigmoid 路由和双一致性目标，实现「一次训练、随处部署」，可在资源受限设备上提取子网络且无需重训练即优于同等规模的稠密 Transformer。
ThinkBit 是一个严格标量的两比特量化框架，通过分层比特分配、Gumbel-softmax 码字搜索、基于知识蒸馏的缩放重校准以及量化感知训练来保留模型的推理能力。在 Qwen3-1.7B 和 14B 模型上，它以远小于 bfloat16 的体积取得了接近原模型的 MATH-500 成绩。
本文提出逐层误差建模搜索（LEMS）与KFAC-SVD，以改进大语言模型的低秩SVD压缩，通过优化全局秩分配与分解质量，在Mistral、Qwen3和Llama 3系列模型上实现了最高4.8个百分点的零样本准确率提升以及平均15%的困惑度改善。
提出了一种基于Kolmogorov–Arnold Networks（KAN）的非线性投影方法来增强低秩分解，用于NLP嵌入层压缩，实验表明该方法在固定维度下能生成更忠实的压缩嵌入。
该论文提出了共同支持集蒸馏（Common-Support Distillation，CSD），这是一种基于 logits 的统一跨分词器知识迁移框架。该框架在教师模型与学生模型之间构建共享支持集，并通过单一目标匹配由此诱导的分布，在多种教师—学生模型配置下均优于现有的跨分词器蒸馏方法。
该论文提出了 LEAN，一种通过损失函数设计实现的正则化方法，可重塑已训练模型的权重敏感度分布，将高敏感度尾部缩减至原来的 1/5–1/13，使模型能够抵御数百次比特翻转攻击，同时以 3.29 比特的有效载荷存储 ImageNet ResNet-50（存储大小为 INT8 的 1/2.4）。
弗吉尼亚联邦大学的一篇论文探讨了用于电力负荷预测的 Transformer 模型的极低状态数权重量化（3、5、7、16 个状态），表明量化感知训练和累积更新阈值机制能够在保持预测性能的同时，将权重更新次数减少约 99.7%。
论文提出 LADDER（Layer-Wise Allocation via Damage-Driven Evaluation and Refinement，即基于损伤评估与优化的逐层剪枝分配），一种面向大语言模型的非均匀后训练剪枝方法。该方法通过逐层评估来最小化每移除参数所带来的性能损失，并生成一条嵌套的掩码轨迹；在稀疏度超过 70% 的情况下，其表现显著优于基线方法。
一位业余研究者提出了一种推测解码方案：由 GPU 上的 2 位模型副本草拟 token，而系统内存中的完整残差（6–8 位）负责验证它们，两者仅通过 PCIe 交换激活值。初步测量表明，2 位模型加 8 位残差的质量优于 Q8_0，且这款 2 位草拟模型的接受率超过了 Gemma 4 的官方草拟模型。
本文提出了 CERTA，一种基于保形风险控制（conformal risk control）的决策级统计认证方法，用于判断量化后的大语言模型何时可以在临床验证任务中安全替代其 BF16 参考模型。研究结果表明，8 位量化几乎可以认证所有决策，而 4 位量化配置则可将 72B 模型的部署成本降至约 26%。