@MaximeRivest:方法很简单:1. 找到可重复的任务。2. 用任意模型/规模将任务做到令人满意的程度……

X AI KOLs Timeline 新闻

摘要

推文分享了一套实用配方:找到可重复任务,用任意模型完成并记录运行结果,然后微调最小的开源权重模型(如 FastConformer)达到目标精度,从而以极小算力获得接近 SOTA 的速度与性能。作者以自己用 Parakeet 采集数据训练 FastConformer 的实际经验为例。

方法很简单: 1. 找到可重复的任务。 2. 用任意模型/规模将任务做到令人满意的程度。 3. 记录每次运行的结果。 4. 微调能达到你所需精度的最小开源权重模型。 5. 享受在极小算力下获得 SOTA 级性能与极致速度的红利。 在下面这个具体案例中,我连续几个月使用 Parakeet,保存了所有音频及转写文本,并据此训练了一个小型 FastConformer。
查看原文
查看缓存全文

缓存时间: 2026/10/19 13:24

方法很简单:

  1. 找出可重复执行的任务。
  2. 使用任意模型/规模,只要能令人满意地完成任务即可。
  3. 记录每次运行的结果。
  4. 微调最小的开放权重模型,使其达到你所需的准确率。
  5. 享受 SOTA 级性能的红利——在极小算力下获得闪电般的速度。

在下面那个具体案例中,我使用 Parakeet 长达数月,保存了所有音频和转写结果,并在其上训练了小巧的 FastConformer。

相似文章

@vintcessun: 预训练原来可以这么省?1B模型、~$1000就能从零训出可用的基础模型,计算和数据量直接砍掉数百倍。核心不靠堆算力,而是层次递归架构加上潜在空间推理,配合PrefixLM packing和FA3把效率拉满。有点离谱,但论文和代码都开源了。

X AI KOLs Timeline

HRM-Text发布了一个1B参数的基础模型,声称仅需约$1000即可从零完成预训练,计算量和数据量减少数百倍,采用层级递归架构、潜在空间推理和PrefixLM packing等高效技术,论文与代码均已开源。