标签
Linus Ekenstam 解释了他在为 AI 构建上下文时偏好使用 HTML 而非 Markdown 的原因，他指出 HTML 的训练数据可用性更广泛。
该文章探讨了模型蒸馏的难度和成本，以DeepSeek R1蒸馏到Llama 3 8b和Qwen 2.5 7b为例，询问为何蒸馏模型不常见。
本文讨论了强化学习数据质量控制的重要性，概述了当前数据供应商的不足之处以及前沿AI实验室用于评估RL数据的标准。
AMD推出采用CDNA 4架构的Instinct MI350P加速器，采用PCIe形态，但尚未公布定价和上市信息。
OpenAI 发布了 MRC（Multipath Reliable Connection），这是一种与行业合作伙伴共同开发的全新网络协议，旨在提升大规模 AI 训练集群的性能和可靠性。该规范通过 Open Compute Project 发布，以标准化基础设施，实现高效的超级计算机运行。
Meta要求美国员工在工作笔记本上安装记录键盘与鼠标操作的AI训练软件，尽管公司声称有保护措施，仍因隐私问题激起内部强烈反弹。
Meta正在员工电脑上安装记录键盘、鼠标和截图的监控软件，以收集真实使用数据来构建AI智能体，引发内部不安。
Meta正在美国员工的PC上部署内部追踪软件，记录鼠标/键盘操作并偶尔截取屏幕快照，以改进可自动化办公任务的AI代理。
Atlassian 已默认启用数据收集功能，将客户数据用于训练 AI 模型，引发企业用户对隐私问题的担忧。
Teknium 观察到，Hermes 智能体最初表现低效，但一旦成功解决某个任务，效率就会大幅提升，他将其比作“线性化 RL”。
澳大利亚联邦银行正在向近50,000名员工推出ChatGPT Enterprise，以在整个组织内培养AI素养，并通过改进的工作流程和智能体驱动的用例来改善客户成果。
OpenAI 宣布推出新的 Residency 项目，为转向 AI 领域的研究人员和工程师提供为期六个月的全职员工路径，参与者作为薪酬员工获得补偿，并为多样化、非常规背景的人才提供支持。
# AI 训练如何实现扩展 来源：[https://openai.com/index/how-ai-training-scales/](https://openai.com/index/how-ai-training-scales/) 我们发现梯度噪声尺度（一个简单的统计指标）可以预测神经网络在广泛任务上的训练可并行性。由于复杂任务往往具有更高的梯度噪声，越来越大的批大小在未来可能会变得有用，从而消除了 AI 系统进一步增长的一个潜在瓶颈。更广泛地说，这些结果表明神经网络训练无需被视为神秘的艺术，而可以被严格化和系统化。
OpenAI 发布了其 Dota 2 游戏系统 OpenAI Five 的基准测试结果，详细介绍了六个主要版本的训练方法，计算需求从 8 到 35 petaflop/s-days 不等，并推出了新的网络架构工具。
OpenAI Scholars 是一个为科学和工程领域代表性不足的群体提供的导师指导和资助项目，帮助他们在三个月内学习深度学习。申请现已开放，滚动审核从 2018 年 3 月 14 日开始，3 月 31 日截止。
OpenAI在播客中讨论了AI训练需要新型超算网络的原因，并介绍了多路径可靠连接（MP-RC）协议以解决同步工作负载的尾部延迟问题。