@MaximeRivest:方法很简单:1. 找到可重复的任务。2. 用任意模型/规模将任务做到令人满意的程度……
摘要
推文分享了一套实用配方:找到可重复任务,用任意模型完成并记录运行结果,然后微调最小的开源权重模型(如 FastConformer)达到目标精度,从而以极小算力获得接近 SOTA 的速度与性能。作者以自己用 Parakeet 采集数据训练 FastConformer 的实际经验为例。
查看缓存全文
缓存时间: 2026/10/19 13:24
方法很简单:
- 找出可重复执行的任务。
- 使用任意模型/规模,只要能令人满意地完成任务即可。
- 记录每次运行的结果。
- 微调最小的开放权重模型,使其达到你所需的准确率。
- 享受 SOTA 级性能的红利——在极小算力下获得闪电般的速度。
在下面那个具体案例中,我使用 Parakeet 长达数月,保存了所有音频和转写结果,并在其上训练了小巧的 FastConformer。
相似文章
@MaximeRivest:这个问题问得真的很好。老实说,我不太确定该推荐什么。如果让我提炼一下的话,那就是:……
Maxime Rivest 回复网友关于如何入门模型微调的提问,给出了从简单分类任务起步、逐步构建自定义任务、利用 coding agent 辅助实验的五步学习路径建议。
@MaximeRivest:哇,太期待试用了。在专用 8B 模型上我们能做非常多的事!
Ai2(@allen_ai)发布开源模型 AstaBrief 8B,可将复杂研究问题与文献片段转化为带引用的报告,支持本地运行,开放权重与训练数据;@MaximeRivest 表示期待尝试小型专用 8B 模型的潜力。
@vintcessun: 预训练原来可以这么省?1B模型、~$1000就能从零训出可用的基础模型,计算和数据量直接砍掉数百倍。核心不靠堆算力,而是层次递归架构加上潜在空间推理,配合PrefixLM packing和FA3把效率拉满。有点离谱,但论文和代码都开源了。
HRM-Text发布了一个1B参数的基础模型,声称仅需约$1000即可从零完成预训练,计算量和数据量减少数百倍,采用层级递归架构、潜在空间推理和PrefixLM packing等高效技术,论文与代码均已开源。
@HuggingPapers:Recursive Self-Rewrite 在复杂任务上扩展模型能力——单一基础模型(Qwen-3.8-27B)发现解法……
HuggingPapers 介绍了一篇关于 Recursive Self-Rewrite 的研究:单一基础模型 Qwen-3.8-27B 在多种 harness 下发现解法并将其改写为可复用的训练轨迹,使 Terminal-Bench 2 的 Pass@3 从 57.0% 提升到 74.2%。
@BohuTANG: 之前还想跨模型互相做 Review,这个方式对我来说太慢了,现在发现了一个新的方式:/harden ,同一个模型两轮收敛,效果非常好 ,感兴趣的可以试试这个skill
BohuTANG introduces /harden, a method for same-model two-round convergence, and highlights the evot agent engine which completes complex tasks with fewer tokens and lower cost than alternatives like Claude Code.