标签
Jack Morris纠正了他早先的说法，即一个开源权重模型未经OpenAI或Anthropic蒸馏训练，承认实际上该模型确实使用了少量蒸馏。
腾讯混元大模型在姚顺雨带领下进行深度改革：简化层级、聚焦数据质量、放弃打榜，目标2027年进入国内第一梯队。文章详细描述了姚顺雨从OpenAI空降腾讯后300天内推动的变革，包括换掉关键负责人、强化基础建设、推行模型与产品联合设计（Co-design）等。
MAD-OPD通过多教师辩论机制打破单教师蒸馏天花板，使小模型在工具调用和代码生成任务上反超大型教师模型。
一篇关于2026年前沿AI模型如何利用蒸馏技术的文章，涵盖离策略、在策略和自蒸馏阶段，并以Gemma、DeepSeek、GLM、Nemotron和Qwen3为例。
Fable 5 正在转向按使用付费模式；建议用户让它训练自己的替代者，并编写技能文件以供继续使用。该帖子详细说明了如何提示 Fable 审计代码仓库并创建全面的技能库。
Aleph Alpha 介绍了其模型工厂 Savanna，该工厂将整个训练流程转化为代码，实现了封闭式的一键训练运行和更好的团队协作。
一篇详细的日志，分享了训练三个系列共四个模型的经验教训，涵盖了LLM微调中的不变性以及架构特定的挑战，如推理模型评估陷阱、量化效应和行为微调的水床效应。
Google Devs 讨论了使用数据集蒸馏在干净、结构化的示例上训练较小模型，以稳定解析器输出并教授模型可重复行为。
Cursor AI在其Compile主题演讲中宣布了三项更新，包括与SpaceX合作训练新模型。
一条推文推荐了Hugging Face上的'The Smol Training Playbook'，这是一本为初学者揭秘模型训练的资源。
一篇关于知识蒸馏的教育性概述，涵盖其历史、核心概念（如softmax和温度）、类型、缩放定律以及包括DeepSeek-R1在内的实际示例。
GLM-5.2 使用一种技术来对抗奖励作弊，即通过检测并阻止可疑的工具调用，而不是惩罚模型，从而避免其他方法中常见的混淆问题。
在Cursor首次大会上，他们发布了从零训练的1.5T参数模型、GitHub直接替代品Origin以及iOS应用，这些发布超出市场预期。
Merve (@mervenoyann) 分享了使用多个小型 VLM 作为评判器的管线的第二天发现，在道路标志检测中仅用 1.3k 样本就达到了 map@50=0.8028。这条推文比较了模型拒绝率，讨论了数据集缩小、超具体提示以及泛化该库的计划。
一个帖子提出了一种通过众包计算创建社区AI模型的方法，利用Branch-Train-Stitch技术将独立训练的子模型组装成混合专家（MoE）模型，并讨论了硬件要求、参与者参与方式和技术挑战。
本文详细解释了机器学习中知识蒸馏的技术原理，指出仅靠收集ChatGPT/Claude的输出对话无法实现有效蒸馏，因为缺少概率分布信息，并讨论了SFT和预训练中使用生成数据的局限性。
对构建自我进化AI代理的两种方法的技术分析：基于模型的方法（通过像SSMs或具有快速权重更新的transformer等架构，以及训练方法）和基于工具的方法（通过内存或能够自我重写的元工具）。作者为不同受众提供了实用建议。
讨论人工智能模型如何在使用其自身开发者构建的框架时表现最佳，而第三方框架可能导致表现不佳，尽管基准测试成绩出色。文中引用了Claude Code（针对Claude模型）和Codex（针对GPT模型）等示例。
一个新的人工智能模型正在使用超过100万亿个令牌进行训练，是其他模型如Kimi、Mimo和DeepSeek通常使用的27-50万亿令牌预训练数据规模的两倍。
解释了前沿AI训练如何通过五个维度分配工作来使用多达2048块GPU，揭开了模型训练框架的神秘面纱。