为团队感到无比自豪。经历了无数个深夜,Inkling 终于发布了,我特别想强调 post-……
摘要
Thinking Machines 发布了 Inkling,这是一个开源的多模态推理模型,在 post-training RL 方面有创新,实现了稳定扩展到 3000 万+ 次 rollout 和可控的思考投入。该模型展现出压缩推理的特点,即将开放微调。
查看缓存全文
缓存时间: 2026/07/16 16:21
团队的表现让我无比自豪。经过无数个深夜奋战,Inkling 终于出炉,这里我特别想强调一下背后的训练后堆栈和强化学习方案。
一些我最喜欢的细节:
我们最大的强化学习运行规模达到了 3000 万以上的 rollout 和数千次连续训练步骤——没有崩溃、没有重启,KL 散度和熵值始终保持稳定。从 SFT 初始化到发布检查点,推理性能呈对数线性提升。多项底层创新使这一切成为可能,而最终结果也充分证明了我们训练后技术的实力。
我们直接通过强化学习训练了可控的思考努力程度。通过改变系统提示和每 Token 成本,模型学会了按需权衡 Token 消耗与性能表现。
我们还观察到推理风格中涌现出的一种转变:随着强化学习的推进,思考链变得越来越精简,语法冗余被逐步剥离。Inkling 的推理方式就像一位穴居数学家——这种独特风格在其他开源模型中难得一见。
今天我们同时推出了 Inkling-small 预览版,不久后将正式发布。它在同等规模下表现极为出色,相信社区会发现它的广泛用途。
在如此短的时间内构建一个简单、稳定且可扩展的强化学习堆栈,此前几乎没人认为可能。但这个团队证明了,他们可以做到。
Frrrr
谢谢你,Clare!
想念你。
相似文章
@levie: 很高兴看到现在有更多的开放权重创新,尤其是来自美国实验室。AI的未来是……
Thinking Machines 发布了 Inkling,一个具有开放权重的多模态 AI 模型,能够跨文本、图像和音频模态进行推理。该模型可通过 Tinker 进行微调,并可在 Inkling Playground 中使用。
@LiorOnAI: Thinking Machines 新模型:- 完整权重可用 - 原生文本、图像和音频推理 - 总参数975B…
Thinking Machines 发布 Inkling,一种 MoE 模型,总参数975B/活跃41B,支持原生文本、图像和音频推理,上下文窗口达100万 token,完整权重可用。
Thinking Machines Lab 发布首个模型
由前 OpenAI 高管创立的 Thinking Machines Lab 发布了其首个开源权重 AI 模型 Inkling,该模型拥有 9750 亿参数,具备推理、编程以及处理音频、视频和文本的能力。
Thinking Machine 首个开源模型 Inkling 的基准测试
Thinking Machine 发布了其首个开源模型 Inkling,同时公布了展示其性能的基准测试结果。
@yifanzhang_: https://thinkingmachines.ai/news/introducing-inkling/… RoPE已死,GRAPE万岁!
Thinking Machines AI发布了Inkling,这是一个开放权重的混合专家模型,总参数975B(41B活跃),支持文本、图像和音频,上下文窗口为100万token。它是一个广泛的基础模型,旨在通过其Tinker平台进行微调,同时还预览了较小的Inkling-Small变体。