压缩 Whisper large-v3-turbo 至 368 MB 采用 Q3_K 匹配的量化感知训练 — 多语言 WER 结果
摘要
Whisper large-v3-turbo 已压缩至 368 MB,采用 Q3_K 匹配的量化感知训练,并报告了多语言词错误率结果。
暂无内容
相似文章
openai/whisper-large-v3
OpenAI 发布了 Whisper large-v3,这是一个更新后的自动语音识别模型,使用 128 个梅尔频带和一个新的粤语词元,在 500 万小时的数据上训练,错误率较 large-v2 降低 10-20%。
Qwen3-4B模型训练后三值化:能力、有效位表示、存储压缩与部署
本研究报告评估了Qwen3-4B模型的训练后三值化处理,实现了1.641位的有效权重表示与显著的存储压缩,同时指出了性能折衷及尚未解决的部署加速问题。
QTEA:采用稀疏残差显著权重与按列优化的三值大语言模型
QTEA是一种面向大语言模型的亚2比特训练后量化框架,通过稀疏残差显著权重与按列优化,实现了三值权重压缩,并提升了准确率与硬件效率。
Qwen 3.8 27b 即使在 Q3_xxs 下也很强大
用户发现 Qwen 3.8 27b 在 Q3 量化下对编码任务非常高效,推理速度快,超越了之前的模型,尽管在日常对话中存在一些小问题。
Qwen3.6-27B 量化基准测试
本文使用 KLD 和 Same Top P 指标,对多种 Qwen3.6-27B 量化版本(Q8 至 Q2)进行基准测试,对比了 Unsloth 和 mradermacher 等提供者的量化结果,并给出了质量与大小权衡的建议。