标签
本文证明，仅通过问答对训练的专家模型会隐式选择潜在推理轨迹，而使用学生蒸馏作为探针揭示了专业化和泛化配置文件之间的强相关性，从而实现领域精确性和通用能力之间的可控权衡。
文章讨论了希望有能力训练AI模型将变得民主化，从而减少对大科技公司提供开放模型的依赖。
Meta的一篇论文显示，字节级模型起初落后于令牌模型，但随着计算量的增加而超越它们，这通过蒸馏的1B模型在高达1万亿字节的数据上训练得到验证。
Frontier AI公司正在经历模型扩展带来的回报递减，并通过以客户为中心的策略转向收入增长。
Sadhika Malladi 提出 TailSFT，这是一种轻量级且原则性的方法，旨在改善覆盖范围并提升RL后性能，基于先前的研究，该研究批评了xent SFT用于准备RL。
Anthropic 披露，中国 AI 公司阿里巴巴、Moonshot AI 和 DeepSeek 对其 Claude 模型进行了大规模的蒸馏攻击，以提取思维链推理来训练自己的模型。
Hugging Face 正在 HuggingChat 中发布 ML Intern，这是一个 AI 代理，通过处理从对话到 Hub 上可共享制品的整个过程，简化模型训练。
Mark Zuckerberg揭示Meta正在使用Prometheus计算集群训练后Watermelon模型，这是下一代AI模型，计算能力提升了10倍。
本文提出一种在线策略专家校正流程，用于协同演化辅助框架与模型，使弱AI模型能通过纠正失败回合而非完全模仿来改进，保持兼容性并提升企业代理任务性能。
Occamy-1.0是一个成本效益高的开源AI模型，专为协作代理设计，在复杂多步骤任务中表现出色，并与更大型的前沿系统具有竞争力，同时保持广泛的代理能力。
自一年前加入 Open Athena 以来，Marin 的全职员工数量已从 1 名增长至 10 名。该团队目前正在进行一次大规模的 535B/A23B 混合专家（Mixture of Experts）模型训练。
Open Athena 推出了一次 535B/A23B MoE 模型训练运行，进展如预期，突显了他们对开放发展的承诺以及在AI扩展方面的重大进展。
一篇研究论文提出了一种方法，使用通过SLERP合并的单独GRPO专家来训练较小的自托管LLM，该LLM在企业任务上优于更大的基线模型，并以更低的成本服务一半的平台流量。
Applied Compute发布了AC2，一个平台，使AI团队能够使用开放模型和集成研究工具，大规模构建、训练和部署自定义模型。
Unbounded Labs 推出 Bart，一个从头在1931年前英文文本上训练的复古LLM，其数据集、基准测试和方法论均开源，旨在推进复古LLM研究。
文章提出了一种名为‘文明脚手架’的新框架，通过保存和利用人类知识来增强AI能力，无需修改模型权重，从而实现即时和递归改进。
Michael Gannotti 分享道，在完成模型训练后，他已将 DeepSeek 的 V4 Flash AI 模型在其 NVIDIA DGX 集群上重新上线，这使他能够恢复本地推理以运行智能体。
Andrew Ng 强调 Marin 项目是人工智能模型训练开放性的一个宝贵范例，Percy Liang 宣布使用开放代码、数据和流程开始训练 Marin 535B-A23B。
CyberFactory 是一个开源框架，通过从现实世界漏洞工件构建可执行任务，并使用可验证的代理轨迹训练AI模型，来扩展网络安全能力。