标签
本文研究Whisper ASR模型后训练权重压缩如何加剧转录错误的人口统计学差异，导致边缘化说话者更正时间增加。
本文提出一种针对大语言模型的量化鲁棒遗忘学习框架，利用损失景观分析来确保在压缩后有效遗忘的同时维持模型效用。
本文介绍Magnitude Profile (MP)评分，这是一种无需校准的方法，用于剪枝Transformer中的注意力头，在如OPT-6.7B和RoBERTa-large等模型上相较于现有方法实现更好的困惑度，且无需前向传播或校准数据。
本文介绍了一种剪枝Whisper ASR模型编码器层的方法，将编码器大小减少18.5%，并通过无标签数据蒸馏恢复性能，同时发布了代码和预训练模型供采用。
DeltaTensors 通过存储与基础模型的权重差异来压缩微调模型检查点，显著降低存储需求，同时允许以最小质量损失进行重构。
该研究提出了一种感知相关性的结构化剪枝方法，通过显式建模跨单元依赖性来优化剪枝决策，从而在大型语言模型中实现精度与效率的优异权衡。
本文介绍了GeoPair，一个用于Transformer压缩的免训练框架，它在保持激活几何结构的同时优化跨层分解，实现了跨多样架构的最新结果。
这条推文推荐了一门斯坦福的课程，关于高效生成语言模型，涵盖从预训练到推理的技术，以在有限的计算资源下平衡性能和成本。
论文提出了一种受物理学启发的LLM块修剪方法，通过将块移除建模为一个受约束的二元优化问题并映射到Ising玻璃，无需对每个配置进行基准测试，实现了显著的压缩增益。
Multiverse Computing发布了Quasar 1.1 438B，这是一个使用量子生成数据构建的AI编程模型，具有更高的效率和减少的政治审查。
Ternary-Bonsai-2-27B是一个将270亿参数AI模型压缩到2位三元格式的模型，在llama.cpp上运行，支持CUDA和Metal，有助于实现轻量级的设备端AI部署。
一条推文提出了关于谁正在为机器人蒸馏Astra模型的问题，表明社区对AI模型优化以部署于机器人系统的兴趣。
本文提出了一种分层课程学习方法，用于高效压缩大语言模型，该方法以显著降低GPU内存占用和训练时间，实现了最先进性能。
一名用户正在使用 NVIDIA 5070 Ti GPU 测试新发布的 Ternary Bonsai 2 27B AI 模型，这是 Qwen3.8 27B 的更小且量化版本，并对其性能感到印象深刻。
Ternary Bonsai 2 是基于 Qwen3.8-27B 的 27B 参数模型，采用三元权重，将模型大小压缩至 6GB 以下，同时保留 98.2% 的智能，使其能够通过 WebGPU 在浏览器中运行。
Edge0是一个流式MoE推理引擎，它使用训练路由预测从SSD服务35B混合专家模型，在消费级硬件上实现接近fp16的性能，且内存使用率低。
本文提出了FairCompressAgent，一个智能体框架，它使用语言模型规划器来优化用于FPGA部署的公平感知模型压缩，平衡准确性、公平性和效率。
本文评估了Cellpose-SAM在干细胞显微镜中的压缩方案，表明混合精度量化在保持分割精度的同时实现了6.76倍的压缩且无灾难性失败。
发布 Ternary-Bonsai-2-27B-gguf，一款 27B 参数的语言模型，采用三元权重实现极端压缩（5.9 GB），同时保留 98.2% 的 FP16 精度性能，并针对笔记本电脑和单 GPU 的高效推理进行优化。
本文提出一种基于Fisher信息距离的神经网络参数剪枝新方法，在全连接网络和视觉Transformer上，在MNIST和CIFAR-10数据集上性能优于现有方法。