model-compression

标签

Cards List
#model-compression

CausalGate: 因果重要性蒸馏用于Transformer模块剪枝

arXiv cs.LG ↗ · 2026-07-28 缓存

CausalGate引入了一种方法,通过因果干预测量Transformer子层的重要性,并将其蒸馏为静态标量门控,实现高效推理且无运行时开销,优于现有的剪枝和路由方法。

0 人收藏 0 人点赞
#model-compression

我想在家跑Kimi K3,所以正尝试让2.8T规模的实验更便宜

Reddit r/LocalLLaMA ↗ · 2026-07-27

一位退休工程师提出了蓝图蒸馏(BPD)方法,将昂贵的教师分析与学生压缩分离,适用于Kimi K3等大型MoE模型,从而允许复用压缩蓝图来生成多种规模的学生模型。

0 人收藏 0 人点赞
#model-compression

神经特征治理:扩展原子盛行度

arXiv cs.LG ↗ · 2026-07-27 缓存

本文介绍了Neural Atom Prevalence(NAP),一种用于结构化节点级模型选择的贝叶斯框架,该框架在神经网络中实现了高稀疏性、高准确性和不确定性量化。

0 人收藏 0 人点赞
#model-compression

突破压缩瓶颈:从理论到实践

arXiv cs.CL ↗ · 2026-07-24 缓存

本文首次从数学上证明,低秩分解与量化在结合用于LLM压缩时并非正交,会导致性能下降,并提出了一种新颖的对角粘合方法(DAM)来减轻这种损失。

0 人收藏 0 人点赞
#model-compression

会话自适应正交蒸馏(SAOD)技术将744B(1.5TB)压缩至100GB以下?

Reddit r/LocalLLaMA ↗ · 2026-07-22

会话自适应正交蒸馏(SAOD)是一种将7440亿参数模型(1.5TB)压缩至100GB以下的技术,大幅降低存储和推理成本。

0 人收藏 0 人点赞
#model-compression

@akshay_pachaar: 如果必须将70B模型适配到单个GPU上,我会学习的LLM量化技术:(收藏此帖) FP16的70B模型……

X AI KOLs Following ↗ · 2026-07-22 缓存

一条推文介绍了五种关键的LLM量化技术(RTN, GPTQ, AWQ, LLM.int8(), QAT),用于在有限硬件上适配大型模型,并引用了一篇综合性研究论文。

0 人收藏 0 人点赞
#model-compression

@rohanpaul_ai:Meta的论文显示,量化推理模型常常因为反复怀疑正确答案而非完成推理而失败…

X AI KOLs Following ↗ · 2026-07-22 缓存

Meta的论文表明,量化推理模型常常失败,因为压缩使它们对正确答案产生怀疑,但通过对“wait”或“but”等犹豫词施加轻微惩罚,可以将推理长度缩短12-23%,同时保持或提高准确性。

0 人收藏 0 人点赞
#model-compression

超越单维压缩:大语言模型的复合稀疏前沿

arXiv cs.LG ↗ · 2026-07-22 缓存

本文提出了一种针对LLM的复合稀疏框架,结合了静态参数剪枝与动态令牌级计算,表明混合这两种机制优于单维压缩,并能延迟性能退化。

0 人收藏 0 人点赞
#model-compression

在微控制器上运行13M参数的ASR Conformer模型

Reddit r/LocalLLaMA ↗ · 2026-07-20

详细介绍了一种在微控制器上直接运行拥有13M参数的ASR Conformer模型的方法,突出了边缘AI部署的进步。

0 人收藏 0 人点赞
#model-compression

减少模型参数大小?

Reddit r/LocalLLaMA ↗ · 2026-07-20

讨论减少模型参数大小的方法或研究,可能侧重于剪枝或量化等技术以提高效率。

0 人收藏 0 人点赞
#model-compression

KDFlow:面向大语言模型的用户友好且高效的知识蒸馏框架

arXiv cs.CL ↗ · 2026-07-20 缓存

KDFlow是一种新颖的大语言模型知识蒸馏框架,采用解耦架构,使用SGLang进行教师推理,FSDP2进行学生训练,相比现有框架实现了1.44倍至6.36倍的加速。

0 人收藏 0 人点赞
#model-compression

qZACH-ViT: 基于递归归因稳定优化的量化感知内在解释

arXiv cs.LG ↗ · 2026-07-20 缓存

介绍了qZACH-ViT,这是ZACH-ViT的量化感知扩展,具有递归内在解释,以及用于稳定归因梯度的递归归因稳定优化(RASO)。在INT8转换后的MedMNIST数据集上实现了高预测一致性和加速。

0 人收藏 0 人点赞
#model-compression

@sudoingX: 这个实验室将 Qwen 3.6 27B(这个我整个月都称之为 24GB 层级霸主的模型)压缩到了 3.9GB。……

X AI KOLs Timeline ↗ · 2026-07-16 缓存

PrismML 宣布推出 Bonsai 27B,这是 Qwen3.6 27B 的二值量化版本,可在手机上运行,每个权重仅使用 1.125 比特,声称保留了 89.5% 的智能。该模型正由 @sudoingX 独立测试以验证性能。

0 人收藏 0 人点赞
#model-compression

我尝试了三元分解而不是量化。它的效果与q4km一样好,但占用稍多的VRAM。同时完全是三元,且完全是PTQ(无QAT)

Reddit r/LocalLLaMA ↗ · 2026-07-16

作者声称,三元分解的性能与Q4_K_M量化一样好,同时使用稍多的VRAM,并且完全是三元和PTQ,无需QAT。

0 人收藏 0 人点赞
#model-compression

Hy3 1Bit 89-93 GB

Reddit r/LocalLLaMA ↗ · 2026-07-15

Hy3 1-bit量化模型的公告,内存占用89-93 GB。

0 人收藏 0 人点赞
#model-compression

Prism ML 在与 Apple 洽谈缩小模型以便在手机上本地使用

Reddit r/ArtificialInteligence ↗ · 2026-07-14

Prism ML 正在与 Apple 洽谈部署模型缩小技术,使得强大的AI模型能够直接在iPhone上运行,提升隐私性并减少对云端推理的依赖。

0 人收藏 0 人点赞
#model-compression

EvoLP:面向实时边缘系统模型压缩的自进化延迟预测器

arXiv cs.LG ↗ · 2026-07-13 缓存

EvoLP 是一种面向边缘设备上神经网络模型的自进化延迟预测器,旨在指导模型压缩同时满足严格的延迟约束。它在多个边缘设备和模型变体上均优于先前的方法。

0 人收藏 0 人点赞
#model-compression

利用适度非结构化稀疏权重矩阵加速大语言模型的GPU推理

arXiv cs.LG ↗ · 2026-07-13 缓存

本文提出了一种针对具有适度非结构化稀疏性的大语言模型的高效GPU推理方法。引入了一种三层矩阵存储格式和一个联合利用稀疏张量核心与CUDA核心的SpMM内核,实现了相比SpInfer最高1.64倍的内核级加速,以及相比FlashLLM最高1.41倍的端到端加速。

0 人收藏 0 人点赞
#model-compression

低比特整数的有符号对称量化

arXiv cs.LG ↗ · 2026-07-13 缓存

本文针对低比特整数提出了有符号对称量化方法,该方法将额外的可表示值分配给主要的离群尾,与标准对称量化相比,在不增加推理成本的情况下,改善了大语言模型(LLM)的量化误差和困惑度。

0 人收藏 0 人点赞
#model-compression

通过交互作用统一解释大型语言模型知识蒸馏的方法

arXiv cs.LG ↗ · 2026-07-13 缓存

本文提出了一种基于博弈论交互的统一方法,用于解释大型语言模型中的知识蒸馏,发现蒸馏会稀疏化交互,并引入了一种损失函数CIP来提升性能。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈