更新 #4：从零开始对 Yandex/AliceAI-80B-A3B [指令模型!] 进行后训练

给一直在关注的朋友们，上一次更新在这里：https://www.reddit.com/r/LocalLLaMA/comments/1wvyc3e/update_3_post_training_yandexaliceai80ba3b/ 一句话概括这个项目：对 ALiceAI-80B-A3B-Base 进行指令微调，使其能够胜任智能体任务和对话。我正在对 medium 上的 qwen 3.8 27b 做浅层蒸馏，以教会模型链式思维推理和对话能力。所有训练都在本地的 3 张 32GB V100 上完成。此外，所有训练数据也都是在这些 V100 上通过 sftmill 本地生成的。到目前为止我一直在做训练并进行实况直播。好了，我成功完成了第一轮 SFT，可以开始测试了。好消息：模型似乎正确地学会了链式思维推理，并且能够进行对话式回应。坏消息：指令 SFT 不够 / 严重欠拟合。虽然 checkpoint #1 在技术上是可用的，但它基本没用。我最初生成的 500 万 token（根据我的推测）在广度上不足以教会模型通用的对话能力——与训练数据中的精确匹配相距较远的模糊问题或提示会产生混乱的输出，因为模型缺乏足够的模糊数据来学习。接下来怎么做？我决定不发布 checkpoint #1（我们就叫它 1.0 alpha 之类的名字），因为它基本没用，但我还是会发布我第一个可用的版本。我通过添加从多个 base URL 抽取数据的选项，将本地合成数据生成器的速度从 80tps 提升到了总共约 240tps，因此我有更多蒸馏数据正在生成中【我目前在 3 个独立实例上生成，每个实例有 4 个并行 worker。我正在创建另一个约 500 万 token 的数据集，但这次的方向是更广泛的通用指令，而不是我最初使用的面向编码的版本。我打算在 1.0 alpha checkpoint 的基础上以降低的学习率进行训练，希望能得到一个能力更强的版本。我会继续发布训练更新——如果你们想看，我可以再做一次直播，但我觉得既然我目前还没什么可展示的，这将是我直到拥有一个可用的初始 checkpoint 之前的最后一次更新。如果有社区感兴趣的话，我很乐意分享任何东西。我之前在这里提到过，给感兴趣的人一个资源：我在这个项目开始时创建了一个离轨蒸馏引擎，它使得从行为目标创建训练数据变得非常容易——例如，我想要一个通用指令模型 -> 直接得到原始训练数据。我创建了一个开源 fork，公开在这里 https://github.com/jackjusko/sftmill 感谢大家的关注！