data-scaling

该文章强调了湿实验室数据如何使专用模型在科学任务上超越 GPT-6 Astra，凸显了领域特定数据对于推动人工智能在科学前沿发展日益增长的重要性。

本文提出了BaguanHR框架，该框架使用变量级超分辨率技术从低分辨率源合成高分辨率天气数据，克服了基于机器学习的预报中的数据限制，并展示了幂律缩放效应以提升性能。

Kathleen系列的这篇论文表明，一个约0.5M参数、无注意力机制的字节级模型在WikiText-103语言建模和生成上可以击败参数匹配的transformer；引入了一种非参数的“形式距离”（Form Distance）度量来评估文本真实感；并证明从模型自身训练语料库进行检索增强解码能提高生成质量。

主张将生产轨迹作为AI后训练的数据，强调数据投入规模日益增长。

文章认为，AI扩展正触及数据极限，需要类似计算项目的文明规模数据投入，并预测到2030年数据支出将超过每年1000亿美元。

全面概述深度学习中的扩展定律，追溯其理论基础和实证发现，并解释损失如何随模型大小、数据和计算量可预测地降低。

VeriEvol是一个新颖的框架，用于在视觉数学推理中扩展强化学习，通过一个双轴方法来确保可靠的奖励标签，该双轴方法将提示难度与答案可靠性分离，使用进化算子和假设检验验证。它在五个基准的视觉数学测试集上取得了显著的准确率提升。

本文发现，经过过滤和标注流水线处理的自我中心人类视频，在预训练具身基础模型时可以超越遥操作真实机器人数据，在真实机器人任务上实现了更低的验证损失和更高的成功率。

文章质疑为何OpenAI和Anthropic等前沿AI实验室不公开其训练数据规模，暗示模型性能提升可能源于数据量而非真正的智能。

本文提出，真实数据扩展规律受潜在预测贡献谱的渐进覆盖支配，而非仅由词元频率尾部决定，并利用文本语料的后缀自动机表示提供了经验证据。

FrontierSmith 是一个系统，能够从封闭式任务中规模化地合成开放式编程问题。它生成、过滤并构建训练环境；使用其数据训练的模型在表现上优于使用人类策划的开放式数据训练的模型。