scale-ai

CRAFT将基于评分标准的评估转化为LLM的分层能力诊断，识别特定弱点并生成有针对性的微调数据，在四个开源模型的金融和法律基准上取得了更强结果。

GergelyOrosz 评论了代理能力的快速进展，尤其是云端编码代理。Alexandr Wang 回应说，Scale AI 的下一次 Muse Spark 更新将带来编码和代理能力的重大提升。

Meta 收购 Manus 后，Scale AI 创始人 Alexandr Wang 取关了 ManusAI，引发讨论。

本文探讨了将强化学习应用于缺乏明确可验证性任务的挑战，引用了Dario Amodei关于实现“数据中心中的天才之国”的预测，并讨论了RLVR、RLHF、Constitutional AI以及Scale AI的基于规则的奖励等技术。

Gergely Orosz 指出，Scale AI 和 Meta 的软件工程师被分配做人工数据标注工作，而 Scale AI 的新领导层在发现这种做法后已叫停。

一份关于Meta在AI领域追赶努力的详细报告，包括招募Alexandr Wang和发布Muse Spark模型，对其进展评价不一。

Scale AI首席执行官亚历山大·王分享了保罗·格雷厄姆的《Schlep Blindness》一文如何激励公司专注于解决构建高质量机器学习数据集这一不为人注意却至关重要的问题。