model-compression

This paper studies learned post-training quantization calibration for 4-bit text embedders (e5-base-v2, BGE-M3, EmbeddingGemma-300m), finding that calibration outcome ranges from gains to catastrophic collapse depending on the 'dose' of update, and proposes a validation-gated abstention rule that never selects harmful checkpoints while retaining most beneficial ones.

该论文研究在 MoE 模型 prefill 阶段减少路由专家对短答案问答 F1 的影响，发现大部分损失来自提示词首尾少数敏感 token，并提出将约 4% 的 token 保持全专家以几乎无损地降低 TTFT。

This preprint argues that learned embedding tables dominate small language models' size and shows a frozen 16 MB vocabulary of 512-bit codes can match or beat trained tables on benchmarks, enabling a 46 MB BitNet ternary model with 5-6x faster CPU inference at a seventh of the memory.

该论文研究如何将一个模型表示上学到的量化校准增益复用到同一预训练模型的其他表示（如浮点与INT3量化）上，无需接收端优化即可保留大部分文本损失改善，量化了校准更新的可迁移性与接收端专属训练的剩余收益。

论文提出 TRACE（Transformer Residual Activation Codebook Encoding），在每个 Transformer 层的后注意力残差处放置向量量化器并预计算码本索引化的键值表示，使分布式边缘设备推理中接收方通过查表直接恢复 K/V，实现通信-计算重叠；在 ViT-Base 与 ViViT-B 上相比最优 VQ 分布式推理框架最高提升 1.89% 精度与 1.27 倍端到端加速，通信开销最高降低 22,624 倍。

A Reddit user reviews agentionai's GYRO quants of Qwen3.8-Flash-Next, claiming they match or beat ISTA-lab's q3-level quants in KLD and loop resistance while being significantly smaller — praising the work of a single contributor.

腾讯混元团队成员公开了 Hy4 Preview（770B 参数 MoE）的极致量化方案，通过 STQ1_0 编码与混合精度分配将约 1.5TB 权重压缩至 214 GiB，并在 llama.cpp 中实现接近 IQ1_M 的推理速度。

该论文研究了基于任务阶段（prompt/reasoning/response）的专家路由统计信息能否指导 MoE 模型的逐层混合精度量化，结果表明路由行为统计并不可靠地反映真实的逐层量化敏感度，路由引导的精度再分配未能优于均匀量化基线。

CAFE提出将CKA特征蒸馏的梯度限制在英语旁路的语言路由适配器中，解决了多语言紧凑ASR中英语与非英语WER的权衡问题，在Open ASR Leaderboard上将平均WER从8.55%降至8.02%。

论文提出 Spectral-MoE，一种在稠密模型转 MoE 时为不同层动态分配专家利用率（utilization budget）的方法，包括静态和动态两种分配器，在 Llama-2-7B、Llama-3-8B、Qwen2.5-7B 上显著降低困惑度并提升下游任务准确率，确立了逐层专家利用率这一新的优化方向。

提出LayerTrim——一种无需训练的结构化剪枝方法，通过保留注意力机制和解码器深度、选择性修剪冗余层的MLP特征，显著缓解了推理语言模型在长链推理任务上的性能崩溃，在Qwen3-14B上实现1.24倍预填充加速和19.7%峰值显存降低。

@no_stp_on_snek 发布了 Fish Audio Drama-3 的两个实验性量化版本（C0 和 C24B），通过自研 TurboQuant llama.cpp fork 在更低显存预算下运行语音合成模型，C24B 已在受限的 RTX 5090 环境下通过短语音测试。

Precision Numerics 发布 Boole-1.7B，一个基于 Qwen3-1.7B 的 1-bit 量化模型，权重仅 247 MB（比 BF16 小 13.9 倍），在 10 项任务评测中达到 BF16 模型 85.9% 的平均分，超越 1-bit 的 Bonsai-1.7B 并接近 1.58-bit 的 Bonsai-1.7B。模型支持浏览器本地运行、vLLM 与 llama.cpp。

作者将两个开源 AI 内容检测模型（RoBERTa 文本检测器约 500MB 压缩至 97MB，以及 26MB 的 ViT 图像检测器）通过 ONNX Runtime Web 和混合精度量化等技术实现在浏览器端完全本地运行，无需上传数据，文本检测约 60ms、图像约 200ms。

一位独立开发者在 RTX 4060 (8GB) 上尝试将稠密模型直接转换为稀疏 MoE 模型（Qwen2.5-0.5B 和 SmolLM2-360M，32 专家 top-8），无需从头预训练，并分享了计算量节省与性能损失的评测结果。

用户推荐 MIT 6.5940 Fall 2026 课程《TinyML and Efficient AI Computing》，由 Song Han 团队讲授，涵盖剪枝、量化、蒸馏、神经架构搜索、LLM 量化与部署、扩散模型优化等高效 AI 计算技术。

A new NYU and Amazon paper finds that distilling a small, carefully selected set of skills (SGUID) can match or beat distilling a skill bank up to 11× larger on math contest benchmarks across multiple Qwen models.

LightVAE 提出一种视频自编码器压缩框架，通过对因果 Conv3D 层的精确重参数化，将空间响应与时间修正分离，并对时间修正施加低秩压缩，从而在保持生成质量的同时显著加速视频 VAE 解码（在 WanVAE 上最高达 2.24 倍吞吐提升）。

A developer demonstrates a 24KB stand-alone HTML-LLM that can generate consistent stories at over 60 tokens per second on a smartphone, achieved via adaptive quantization and QAT on the 81KB MacroStory model using local Qwen3.8 tooling.

论文提出 LadderEdit，通过将每个 LoRA 编辑适配器压缩为低秩草图，并在草图不满足重写、泛化和局部性要求时沿阶梯提升秩，实现 5.2 倍的存储节省，并在 50,000 次连续编辑上保持有效。