更新 #2：从零开始对 Yandex/AliceAI-80B-A3B [instruct!] 进行后训练

上次更新：https://www.reddit.com/r/LocalLLaMA/comments/1wu9ksu/update_yandexaliceai_80ba3b_fine_tune_progress/ - 基本上就是使用一套合成蒸馏数据集，对基础模型做 instruct 微调。我一直定期发布更新，所以我想至少有几个人看到了。直播地址：https://figure-bios-expect-cio.trycloudflare.com/ 初始训练在嗡嗡运转了大约 48 小时后，终于接近完成了。虽然 loss 曲线看起来有点疯狂，但我做了一些分析（也和 LLM 们聊了聊），了解到每个 epoch 的平均 loss 是在稳步下降的（loss 曲线看起来怪异有几个原因：词表大小、每个 epoch 的 token 数量从低到高等等）—— 但到目前为止我对所看到的结果还是挺满意的。我在对 attention 和共享专家（shared expert）进行后训练，基础专家（base experts）则保持冻结——这是一次行为与逻辑层面的微调，保留了原始的 yandex 训练数据。我计划在未来几天内发布这个模型的几个 GGUF 量化版本，同时发布一个 llama.cpp 补丁，方便在本地运行它。我不确定这次初始微调效果会怎样——loss 看起来不错，但我还需要做一些评估。无论如何，我计划继续用强化学习和扩展的 SFT 数据集继续训练，因为我的 QLoRA adapter 里还有空间和大量余量。不过无论如何我都会把这个版本作为公开检查点发布出来（有点像 deepseek 的做法），方便大家上手把玩，希望也能让大家对新的检查点充满期待。Cheers！敬请期待，这个模型大小玩起来相当有趣，我也很期待发布 instruct 版本。你们想要的任何东西我都会开源——我已经开源了蒸馏引擎（见 SFTMill，这几天已经发在本版块了）——此外我还有一个针对 V100 的训练自定义 kernel 以及几个其他补丁可以分享（这次训练是在 3 块 32GB 的 V100 上跑起来的——天呐，要让它跑通花了好长时间）。例行给自己打个广告：如果你正在招聘远程或纽约的开发/ML 工程师，请联系我！