@MaximeRivest:我从未想过,仅凭 5000 个训练样本、4 小时训练和 80 美元,我就能让一个 4B 模型击败 GPT 5.6……
摘要
Maxime Rivest 称,他仅用 5000 个训练样本、4 小时训练和 80 美元预算就微调了一个 4B 模型,并使其性能超越 GPT 5.6。他认为,如今廉价且充足的训练数据以及能力足够的编码智能体,让自定义模型训练变得触手可及。
查看缓存全文
缓存时间: 2026/10/05 03:22
我从没想过,仅用 5000 个训练样本、4 小时训练和 80 美元,我就能造出一个 4B 模型并击败 GPT-5.6-Turbo。
如今训练数据既便宜又充足,编码 agent 的能力也已经足够强大。你只需要想清楚,自己到底想教它什么任务。
https://t.co/gyASTc5n9H
相似文章
@gnjrdi:极度胡扯
一条推文声称,仅用 5,000 个训练样本、4 小时训练和 80 美元,就能让一个 4B 参数模型击败 GPT-5.6 这样的前沿模型,并认为多亏了能力强大的编程智能体,如今训练数据既廉价又充足。
@VibeMarketer_:发现一款开源模型,可跑 300 个并行智能体,连续执行 12+ 小时,成绩碾压 GPT-5.4 和 Opus 4.6 的人生瞬间…
一款未具名的开源模型同时运行 300 个并行智能体,持续 12 小时以上,在多项基准测试中据称超越 GPT-5.4 与 Opus 4.6,权重已上传至 Hugging Face。
GPT-4o 现已支持微调
OpenAI 推出了 GPT-4o 和 GPT-4o mini 的微调功能,允许开发者使用自己的数据集以更低成本自定义模型。该功能包括免费的训练代币(GPT-4o 每天 1M,GPT-4o mini 每天 2M,有效期至 9 月 23 日),面向所有付费层级的开发者提供。
@MaximeRivest:每次用 4B,我们就能达到 10T 参数模型:一个真正的专家混合体。Jev 向我们展示了其实可以相当不错地进行路由……
Maxime Rivest 认为,可以把 4B 参数的专家模型组合成一个真正的专家混合(mixture-of-experts),总参数量达到 10T,从而在边缘硬件上以几乎可以忽略的成本实现前沿级性能——只用少量合成样本微调的小模型,已经足以与前沿系统媲美。
@MaximeRivest: 400万参数!仅用10,000个样本就能让微小的BERT超越opus和kimi!
一项仅有400万参数的模型,通过10,000个样本微调,在某些基准测试中性能超越了opus和kimi。