@gnjrdi:极度胡扯
摘要
一条推文声称,仅用 5,000 个训练样本、4 小时训练和 80 美元,就能让一个 4B 参数模型击败 GPT-5.6 这样的前沿模型,并认为多亏了能力强大的编程智能体,如今训练数据既廉价又充足。
满满都是胡扯
查看缓存全文
缓存时间: 2026/10/05 13:25
极度胡扯
Maxime Rivest 🧙♂️🦙🐧 (@MaximeRivest): 我从来没想过,仅凭 5000 个训练样本、4 小时的训练时间和 80 美元,就能让一个 4b 模型击败 gpt 5.6 terra。
如今训练数据既便宜又充足,编程 agent 也已经足够强大,足以完成这项工作。你只需要想清楚要让模型学会什么任务就够了。
相似文章
@MaximeRivest:我从未想过,仅凭 5000 个训练样本、4 小时训练和 80 美元,我就能让一个 4B 模型击败 GPT 5.6……
Maxime Rivest 称,他仅用 5000 个训练样本、4 小时训练和 80 美元预算就微调了一个 4B 模型,并使其性能超越 GPT 5.6。他认为,如今廉价且充足的训练数据以及能力足够的编码智能体,让自定义模型训练变得触手可及。
我认为AI训练比人们想象的要容易得多
作者认为,由于廉价的GPU租赁和AI驱动的工具,AI训练如今已经广泛可及,但许多人盲目使用未经验证的低质量数据,导致结果不佳和资源浪费。
@rohanpaul_ai: 完全同意。那份著名的斯坦福报告已经发现,GPT-3.5级别的推理成本在不到2年内下降了280倍……
讨论推理成本(GPT-3.5级别在不到2年内下降280倍)的快速下降如何导致杰文斯悖论,从而驱动对AI的更大需求,并使更便宜的开源模型下的多智能体系统无处不在。
@bllchmbrs:卧槽这篇文章太神了 @raw_works > 我忍不住兴奋、充满力量地相信,个人或联盟如今在廉价/老旧/本地算力上跑大量小模型,就能获得与 GPT 媲美的能力……
一条热情澎湃的社媒帖子盛赞文章:个人只要用便宜的本地硬件跑起众多小模型,就能拥有 GPT 级能力。
@jxmnop: 想想看,前沿实验室还在预训练模型,这挺尴尬的。他们不知道有个……
一条讽刺性推文,嘲笑前沿AI实验室仍然预训练模型,声称无需实际训练就能从理论上预测损失。