我微调了一个0.8B的本地模型用于听写清理。它在一个狭窄任务上匹配了一个托管前沿模型
摘要
作者微调了一个名为SpeakoFlow Mini的0.8B参数模型,用于听写清理。在固定提示条件下,它在专业基准测试中与GPT-5.6 Luna表现匹配。
我构建了SpeakoFlow Mini,这是一个基于Qwen3.5-0.8B的Apache-2.0微调模型,用于听写清理。它不是一个聊天模型或通用重写器。它接收语音转文本输出,应用说话者实际进行的修正,并保持其他内容不变。最后这一点比听起来更难。通用模型通常会润色已经正确的文本,但在听写中,不必要的改进仍然是错误的编辑。例如:输入:截止日期是星期一。算了。截止日期是星期三。输出:截止日期是星期三。在我的专业英文基准测试中,SpeakoFlow Mini得分为70.7%,GPT-5.6 Luna得分为65.0%。两者都使用相同的固定短提示,且禁用了推理功能。差距为+5.8个百分点,但95%置信区间为[-1.5, +12.9],所以这是一个统计上的平局,而非胜利。这种设置很重要。这是该模型训练时针对的低开销配置。使用更长的提示和推理预算时,Luna表现更好。对于超出本文涵盖的狭窄模式的异常情况,它也是更好的模型。这一声明更狭窄。在一个固定短提示且无推理预算的情况下,一个0.8B的本地运行模型在该任务上匹配了一个托管前沿模型。对照比较是针对未经微调的Qwen3.5-0.8B基础模型。微调将分数从47.3%提升到70.7%,提高了+23.4个百分点,95%置信区间为[+16.3, +30.3]。第二张图片显示了那个比较。Q8_0构建版本大小为833 MB,可完全离线运行。Hugging Face卡片包含模型文件、运行命令、基准测试方法、量化结果、限制和公开示例:https://huggingface.co/SpeakoFlow/speakoflow-mini 评估集未包含在公开发布中。如果你尝试使用,我最感兴趣的是它改变了一些本应保持不变的内容的情况。声明:我构建了SpeakoFlow Mini和SpeakoFlow。
相似文章
构建并发布了BetterGPT-150M——一个紧凑的1.5亿参数补全模型(含在线HF Space演示)
构建并发布了BetterGPT-150M,一个紧凑的1.5亿参数因果语言模型,资源占用低,性能优于GPT-2 Small。包含用于文本补全的实时Hugging Face Space演示。
大规模语法概念标注:部署的微调小语言模型超越提示式前沿模型
论文提出用经过筛选和再平衡的教师监督信号微调 Qwen3.5 小模型(0.8B/4B),在语法概念标注任务上超越提示式 GPT-5.4/GPT-5.6 Sol,同时将服务成本降低约 16 倍,并在线上实验中显著提升学习者参与度与业务指标。
Meta-Tool:小语言模型的高效少样本工具适配
独立研究表明,在 3B Llama 的工具使用中,227M 参数的超网络相比精心设计的少样本提示毫无增益,仅用 1/10 延迟即可达到 GPT-5 性能的 79.7%。
superwhisper/s1-mini (阅读约8分钟)
superwhisper/s1-mini 是一个从Qwen3-0.6B微调而来的0.6B参数文本规范化模型,用于清理语音转文本记录,通过去除填充词、纠正错误并应用标点和格式,在英语数据上达到94.8%的准确率。
训练了我的第一个小型语言模型
作者训练了一个小型语言模型来替代Gemini Flash进行摘要任务,达到了97%的准确率和0.06秒的延迟,适合在内部应用中部署。