标签
本文研究了针对4位文本嵌入模型（e5-base-v2、BGE-M3、EmbeddingGemma-300m）的学习式训练后量化校准方法，发现校准结果随更新的"剂量"不同，可能带来性能提升，也可能导致灾难性崩溃。为此，本文提出了一种基于验证门控的弃权规则，能够在保留绝大多数有益检查点的同时，避免选中有害的检查点。
该论文研究在 MoE 模型 prefill 阶段减少路由专家对短答案问答 F1 的影响，发现大部分损失来自提示词首尾少数敏感 token，并提出让约 4% 的 token 保持全专家，从而几乎无损地降低 TTFT。
该预印本指出，可学习的嵌入表占据了小型语言模型体积的主要部分，并证明了一个由512位编码构成的16MB冻结词表在基准测试上可以匹配甚至超越训练的嵌入表，从而实现了仅46MB的BitNet三值模型，CPU推理速度提升5-6倍，内存占用仅为原来的七分之一。
该论文研究如何将一个模型表示上学到的量化校准增益复用到同一预训练模型的其他表示（如浮点与INT3量化）上，无需在接收端进行优化即可保留大部分文本损失改善，并量化了校准更新的可迁移性以及接收端专属训练所能带来的剩余收益。
论文提出 TRACE（Transformer Residual Activation Codebook Encoding），在每个 Transformer 层的后注意力残差处放置向量量化器并预计算码本索引化的键值表示，使分布式边缘设备推理中接收方通过查表直接恢复 K/V，实现通信-计算重叠；在 ViT-Base 与 ViViT-B 上相比最优 VQ 分布式推理框架最高提升 1.89% 精度与 1.27 倍端到端加速，通信开销最高降低 22,624 倍。
一位 Reddit 用户评测了 agentionai 的 GYRO 系列量化（针对 Qwen3.8-Flash-Next），声称其在 KLD 和循环抵抗方面达到甚至超越 ISTA-lab 的 q3 级量化，同时体积显著更小——对这位单一贡献者的工作给予了高度评价。
腾讯混元团队成员公开了 Hy4 Preview（770B 参数 MoE）的极致量化方案，通过 STQ1_0 编码与混合精度分配将约 1.5TB 权重压缩至 214 GiB，并在 llama.cpp 中实现接近 IQ1_M 的推理速度。
该论文研究了基于任务阶段（prompt/reasoning/response）的专家路由统计信息能否指导 MoE 模型的逐层混合精度量化，结果表明路由行为统计并不可靠地反映真实的逐层量化敏感度，路由引导的精度再分配未能优于均匀量化基线。
CAFE提出将CKA特征蒸馏的梯度限制在英语旁路的语言路由适配器中，解决了多语言紧凑ASR中英语与非英语WER的权衡问题，在Open ASR Leaderboard上将平均WER从8.55%降至8.02%。
论文提出了 Spectral-MoE，一种在将稠密模型转换为混合专家模型（MoE）时，为不同层动态分配专家利用率预算的方法，包括静态和动态两种分配器。该方法在 Llama-2-7B、Llama-3-8B 和 Qwen2.5-7B 上显著降低了困惑度并提升了下游任务准确率，确立了逐层专家利用率这一新的优化方向。
提出LayerTrim——一种无需训练的结构化剪枝方法，通过保留注意力机制和解码器深度、选择性修剪冗余层的MLP特征，显著缓解了推理语言模型在长链推理任务上的性能崩溃，在Qwen3-14B上实现1.24倍预填充加速和19.7%峰值显存降低。
@no_stp_on_snek 发布了 Fish Audio Drama-3 的两个实验性量化版本（C0 和 C24B），通过自研 TurboQuant llama.cpp fork 在更低显存预算下运行语音合成模型，C24B 已在受限的 RTX 5090 环境下通过短语音测试。
Precision Numerics 发布 Boole-1.7B，一个基于 Qwen3-1.7B 的 1 位量化模型，权重仅 247 MB（比 BF16 小 13.9 倍），在 10 项任务评测中的平均得分达到 BF16 模型的 85.9%，超越 1 位的 Bonsai-1.7B，并接近 1.58 位的 Bonsai-1.7B。模型支持在浏览器中本地运行，也支持 vLLM 与 llama.cpp。
作者将两个开源 AI 内容检测模型（RoBERTa 文本检测器约 500MB 压缩至 97MB，以及 26MB 的 ViT 图像检测器）通过 ONNX Runtime Web 和混合精度量化等技术实现在浏览器端完全本地运行，无需上传数据，文本检测约 60ms、图像约 200ms。
一位独立开发者在 RTX 4060 (8GB) 上尝试将稠密模型直接转换为稀疏 MoE 模型（Qwen2.5-0.5B 和 SmolLM2-360M，32 专家 top-8），无需从头预训练，并分享了计算量节省与性能损失的评测结果。
用户推荐 MIT 6.5940 Fall 2026 课程《TinyML and Efficient AI Computing》，由 Song Han 团队讲授，涵盖剪枝、量化、蒸馏、神经架构搜索、LLM 量化与部署、扩散模型优化等高效 AI 计算技术。
纽约大学和亚马逊的一篇新论文发现，在多个 Qwen 模型的数学竞赛基准测试中，蒸馏一组规模较小、经过精心筛选的技能（SGUID），其效果可以媲美甚至超过蒸馏规模最高达其 11 倍的技能库。
LightVAE 提出一种视频自编码器压缩框架，通过对因果 Conv3D 层的精确重参数化，将空间响应与时间修正分离，并对时间修正施加低秩压缩，从而在保持生成质量的同时显著加速视频 VAE 解码（在 WanVAE 上最高达 2.24 倍吞吐提升）。
一位开发者展示了一个仅24KB的独立HTML-LLM，可在智能手机上以每秒超过60个token的速度生成连贯的故事，该成果通过自适应量化和QAT（量化感知训练）在81KB的MacroStory模型上实现，并使用本地Qwen3.8工具完成。
论文提出 LadderEdit，通过将每个 LoRA 编辑适配器压缩为低秩草图，并在草图无法满足重写、泛化和局部性要求时沿阶梯提升秩，实现 5.2 倍的存储节省，并在 50,000 次连续编辑上保持有效性。