@LiorOnAI: 瓶颈不再仅仅是算力或参数。而是获取高质量的推理轨迹。一旦数百万……

X AI KOLs Timeline 2026/07/04 20:50 模型

reasoning-traces distillation open-source llm qwen claude

摘要

Lior On AI 认为高质量的推理轨迹是人工智能的新瓶颈。一个团队从 Claude Fable 5 中提炼了 230 万个推理轨迹到 Qwen3-4B，实现了完美的自洽性和零幻觉方差，并将结果开源。

瓶颈不再仅仅是算力或参数。而是获取高质量的推理轨迹。一旦存在数百万条专家推理轨迹，就可以将其提炼到更小、更便宜的模型中，这些模型继承了大部分能力，而无需重复原始训练过程。

查看原文

查看缓存全文

缓存时间: 2026/07/04 20:52

瓶颈不再是计算量或参数。而是对高质量推理轨迹的获取。

一旦数百万条专家级推理路径存在，就可以将它们蒸馏到更小、更便宜的模型中，让这些模型继承大部分能力，而无需重复原始训练过程。

ali (@waterloo_intern): 我们将230万条Claude Fable 5推理轨迹蒸馏进了Qwen3-4B

512个样本下100%自洽性

输出熵为0.00比特

零幻觉方差

结果发现学生模型并不受限于教师模型。它也收敛到了同一个普适真理。

我们已开源了

相似文章

X AI KOLs Timeline

Liquid AI 发布了 Antidoom，这是一种开源方法，通过微调推理模型来打破重复的token循环（末日循环），在 Qwen3.5-4B 上无需重新训练或强化学习即可将故障率从约23%降至1%。

X AI KOLs Timeline

关于AI推理模型的经济性和性能影响的分析，表明启用推理可以将准确率提高10-20%，但消耗的token数量增加5-10倍，并讨论了不同的推理类型及其应用。

X AI KOLs Timeline

Prime Intellect工程师演示了一种方法，通过开放互联网使用分布式强化学习在30分钟内训练推理模型，利用Prime-RL、LLM评判器和多云GPU，使开放模型无需拥有数据中心即可与封闭实验室竞争。

Reddit r/artificial

对AI推理扩展论点的一个批判性观点，认为自回归LLM无法仅通过增加计算量来实现正确性，并强调替代架构如EBM和形式验证在关键应用中更为优越。

X AI KOLs Following

马丁·卡萨多的一条推文，强调了一种解决方案，该方案解决了大规模向AI智能体暴露追踪数据这一难题，并平衡了成本与AI的杠杆作用。