@oneill_c: https://x.com/oneill_c/status/2054604986269802579

X AI KOLs Timeline 新闻

摘要

文章指出,严肃的AI公司正从封装通用模型转向使用专有交互数据训练自己的专业化模型,因为在分布内智能体任务中,专业化现在经常能匹配甚至超越前沿模型,从而推动更好的单位经济效益。

https://t.co/ERAhd412li
查看原文
查看缓存全文

缓存时间: 2026/05/13 20:26

为什么每个严肃的AI公司都在训练自己的模型

过去五年里,我每一天都在做同一件事:拿一个通用大语言模型,教它做具体的事情。一开始是教GPT-2做模加法,现在则是教万亿参数级别的模型完成那些有时需要数小时的任务。

2024年是“封装层“之年。典型的例子Cursor,通过封装大型实验室的模型,超越了GitHub Copilot,成为AI辅助编程的首选工具。到了2025年,Cursor推出了Composer。底层基于开源的Kimi,但真正的魔力来自一个完全内部后训练的模型。他们这么做不是为了省API调用费用,而是因为他们发现了一件市场仍未完全定价的事情:在Cursor内部做好代码补全的奖励信号,只存在于Cursor内部,不存在于任何其他地方。

Cursor是最明显的例子,而这种策略正越来越成为整个应用层的共识:贴近用户,了解你的模型何时有效,然后构建更好的模型和产品。这样你才能转动飞轮。

这个模式已经一致到不可能是巧合。任何产品是一个长期智能体循环的公司,都在从实验室模型转向基于自身交互数据训练的模型。Decagon、Abridge、OpenEvidence、Hippocratic、Intercom、Chroma、Pinterest、Cognition、Lovable、Notion、Harvey、Gamma、World Labs,以及所有前沿公司,都在基于开源权重训练自己的模型。在Baseten,我们帮助这一波公司训练他们的主力智能体,让他们从前沿API转向专用模型。

萨顿的苦涩教训——通用数据规模胜过人类领域专长——在这里并不适用于拯救大型实验室。标准的反驳观点是:通用化最终会战胜专门化,也就是预训练规模取胜,只要等下一个基座模型就好。这个论点在计算能力按固定目标扩展时成立。但大多数目标并非固定不变。

“在这个用户的仓库里做好代码补全“或“为这位医生的患者群体写好临床记录“这些目标,是不断变化的目标。正确性是通过产品迭代发现的。在静态语料库上做再多下一个token预测也产生不了它。只有基于结果(接受 vs 拒绝的补全,在真实工作流中成功 vs 失败的智能体轨迹)的强化学习才能产生。而这些结果只存在于产品运行的地方。这正是专门化胜过通用化的维度,也是剩余前沿空间的所在。

过去一年的实证已经无可辩驳:在固定能力预算下,一个专业化的开源模型现在通常在分布内的智能体任务上匹敌甚至超越前沿模型,而且随着任务时间跨度更长、工具使用依赖更强,差距会进一步扩大。这与前沿模型的发展方向一致,但机制不同。我们的单位经济效益提升了接近一个数量级。

大型实验室无法跟进,原因是组织层面的。前沿实验室的组织方式是用一个模型服务众多客户。而专门化需要相反的结构:为细分客户构建多个模型,并与服务栈和客户数据循环协同设计。让实验室擅长预训练的东西(集中化运行、一个模型服务的经济学、研究型实验室的组织结构),与让专门化业务做好的东西是直接冲突的。微调API只是副业,因为它们只能是副业。这是我与朋友们散步、吃饭时经常争论的话题,但这是我亲眼看到的现实。我会指出,OpenAI刚刚弃用了他们的微调API。

如果把专门化当作第一等业务来对待,就意味着承认预训练规模并不是现实世界价值的绑定约束,而这正是他们整个资本结构所依赖的论点。他们可以雇佣领域专家,但这没有用,因为OpenEvidence或Abridge的优秀成分中98%不是医学知识,而是他们融入产品中的反馈循环。

这一波浪潮中的每家公司都明白了一件事:在软件成本崩溃后唯一能幸存下来的护城河,就是拥有一个基于别人看不到的信号训练的模型。每个用户会话都会生成训练数据。每次训练运行都会产生更好的模型。每个更好的模型都会吸引更多用户和更多数据。飞轮在产品循环内部转动,而大型实验室尽管规模庞大,却被挡在外面。每个产品都有极其细致的“好“的定义标准;公司现在关心的是模型用户体验,这是在训练时决定的,无法通过提示词消除(比如工具调用或搜索深度的级别、工具调用的并行度等)。

现在每个应用层公司问的问题不再是“我们如何使用AI?“而是“我们如何抵抗商品化,为客户提供更好的结果?“答案是:基于你对每天服务对象的独特理解,构建专业化的模型。大型实验室做不到,但你可以。

相似文章

AI之长,AGI之短(3分钟阅读)

TLDR AI

本文认为,AI智能正变得像计算和存储一样商品化,最有价值的公司将不是模型构建者,而是那些拥有客户关系、专有数据和工作流程的公司。

AI训练正成为新的编程革命

Reddit r/artificial

文章认为,AI训练正变得前所未有地易于获取,使得小团队和个人无需大型基础设施即可训练专业化模型,标志着AI从企业主导转向面向特定领域的开发。