@rohanpaul_ai：这篇论文很适合用来挑选你的技能文件。在蒸馏技能库之前，先记录哪些技能能提供稳定的训练信号……

X AI KOLs Following 论文
skill-distillation llm-training reasoning model-compression qwen amazon nyu

摘要

纽约大学和亚马逊的一篇新论文发现，在多个 Qwen 模型的数学竞赛基准测试中，蒸馏一组规模较小、经过精心筛选的技能（SGUID），其效果可以媲美甚至超过蒸馏规模最高达其 11 倍的技能库。

一篇有助于筛选技能文件的论文。 在蒸馏技能库之前，先记录哪些技能能提供稳定的训练信号，再剔除其余技能。 纽约大学和亚马逊的一篇新论文发现，蒸馏少量持续产生有效训练信号的技能，其效果可以媲美甚至超过蒸馏规模高达其 11 倍的技能库。 技能是简短的文字提示，例如用于统计情况数量的规则。模型通过向一个阅读这些提示的自身副本学习来吸收这些技能。在按主题匹配选出的技能中，能在 3 个 Qwen 模型上提供任何有效信号的技能占比不到 25%。 SGUID 只保留那些在训练早期有帮助、到后期仍有帮助的技能。仅使用 6 个这样的技能，4 个模型中就有 3 个在数学竞赛测试中达到或超过使用完整技能库的表现，而完整技能库包含 30 至 71 个技能。第二轮加入 3 个新技能后，Qwen3-8B 的成绩从 64.3% 提升到了 66.3%。
查看原文
查看缓存全文

缓存时间: 2026/10/10 12:53

一篇有助于筛选技能文件的好论文。 在蒸馏技能库之前，记录哪些技能能持续提供稳定的训练信号，并剔除其余技能。

纽约大学和亚马逊的一篇新论文发现，蒸馏少量持续产生有效训练信号的技能，效果可达到或超过蒸馏规模大至其 11 倍的技能库。

技能是简短的文字提示，比如用于统计情况数量的规则。模型通过向一个读取这些提示的自身副本学习来吸收技能。按主题匹配选出的技能中，在 3 个 Qwen 模型上能提供有效信号的比例不到 25%。

SGUID 只保留那些在训练早期有帮助、到后期仍然有帮助的技能。仅使用 6 个这样的技能，4 个模型中就有 3 个在数学竞赛测试中达到或超过使用包含 30 至 71 个技能的完整技能库时的表现。第二轮加入 3 个新技能后，Qwen3-8B 的成绩从 64.3% 提升至 66.3%。

相似文章

@rohanpaul_ai：上海 AI 实验室新论文发现，用人工编写的 agent 技能的验证运行进行训练，能让模型成为更……

X AI KOLs Following

上海 AI 实验室的一篇论文提出了 SkillGym，该方法将人工编写的 agent 技能文件转化为沙盒化的通过/失败任务，并在验证通过的运行上微调模型，从而提升 agent 的性能（例如 Claude Code 在 Terminal-Bench 2.1 上提升 19.10 分），即便在提示词中不提供技能文件也能奏效。

@Yangtze_Seventh: 新的论文来了，算法团队非常之高产！ 来简单介绍一下。现在在 GitHhb 上你可以搜到各种各样的 skills，每一个看起来效果也都不错，然后star收藏，很少会有真正使用下来的。 有一些 skills 下载下来，使用也不是总有很好的效果…

X AI KOLs Timeline

这篇论文爬取约82.1万个公开技能并精选为96,401个，在多个基准与测试框架上评估，最大综合增益达+7.5pp，并发布SkillHub供用户直接使用。