@Datou: 微软还是爱惜羽毛的，刻意避开合成数据，只用人类数据训练出一个 base 模型，然后一生三，训练三个不同领域的专家模型，然后自己蒸馏自己，把三种能力蒸回 bese 模型（权重配比很考验经验），再强化学习一轮让蒸馏模型懂得看问题下菜碟灵活运用…

X AI KOLs Timeline 论文
microsoft mai-thinking-1 distillation reinforcement-learning expert-model human-data synthetic-data

摘要

微软发布MAI-Thinking-1训练技术细节：使用纯人类数据训练基座模型，然后训练三个领域专家模型，通过蒸馏将能力合并回基底模型，再经强化学习使模型能灵活运用不同能力。

微软还是爱惜羽毛的，刻意避开合成数据，只用人类数据训练出一个 base 模型，然后一生三，训练三个不同领域的专家模型，然后自己蒸馏自己，把三种能力蒸回 bese 模型（权重配比很考验经验），再强化学习一轮让蒸馏模型懂得看问题下菜碟灵活运用这三种能力。确实讲了很多细节，一生三三蒸一有意思。
查看原文
查看缓存全文

缓存时间: 2026/06/03 03:41

微软还是爱惜羽毛的，刻意避开合成数据，只用人类数据训练出一个 base 模型，然后一生三，训练三个不同领域的专家模型，然后自己蒸馏自己，把三种能力蒸回 bese 模型（权重配比很考验经验），再强化学习一轮让蒸馏模型懂得看问题下菜碟灵活运用这三种能力。确实讲了很多细节，一生三三蒸一有意思。

yv (@yvbbrjdr): 推荐大家读一下MAI-Thinking-1的technical paper，里面有详细的怎么训出一个SOTA LLM的（几乎）所有细节。

相似文章

@NFTCPS: 微软搞了个东西叫 SkillOpt，思路挺野：把 agent 的技能文档当成神经网络一样来训练，有 epoch、batch、学习率、验证集，但一根模型权重都不碰。 它牛在哪？我给你拆三点： 训练只改一份 skill 文档，新的改动必须在验…

X AI KOLs Timeline

微软推出SkillOpt，一种将智能体技能文档像神经网络一样训练的方法，通过epoch、batch、学习率和验证集来进行优化，但不修改模型权重。在多项基准测试中取得最佳结果，可跨模型和工具迁移。

深入微软前沿预训练技术栈（18 分钟阅读）

TLDR AI

微软公布了其最新的 MoE 基础模型 MAI-Base-2（80B 激活参数 / 2.8T 总参数），在自研评测中超越所有开源权重模型，预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4-12 倍，使用 16k 张 GB200 GPU 在 38 天内完成训练。

@wlzh: 微软+宾大开源Multiplex Thinking：让大模型在岔路口"分身"再合体 核心思路一句话讲完：模型推理到关键决策点时，"分身"成K个探路者各走一条路，走完一步再融合回一个复合token继续推。K=3的话，一个token装三个人的…

X AI KOLs Timeline

微软和宾夕法尼亚大学开源Multiplex Thinking方法，让大模型在推理时分身成K路并行探索再合并，提升效率。在7B模型上实现AMC2023准确率破50%，AIME2025超55%。

@vintcessun: 预训练原来可以这么省？1B模型、~$1000就能从零训出可用的基础模型，计算和数据量直接砍掉数百倍。核心不靠堆算力，而是层次递归架构加上潜在空间推理，配合PrefixLM packing和FA3把效率拉满。有点离谱，但论文和代码都开源了。

X AI KOLs Timeline

HRM-Text发布了一个1B参数的基础模型，声称仅需约$1000即可从零完成预训练，计算量和数据量减少数百倍，采用层级递归架构、潜在空间推理和PrefixLM packing等高效技术，论文与代码均已开源。