Distill
摘要
Distill 是一个网络平台和工具集,旨在帮助人们利用现代网络技术解释机器学习概念,提供交互式可视化和文章,探讨 t-SNE、神经网络和图像合成伪影等主题。
我们很高兴支持今天推出的 Distill,这是一本新型期刊,致力于以卓越的方式传播机器学习研究成果(无论是新颖的还是已有的)。
查看缓存全文
缓存时间: 2026/04/20 14:45
# Distill
来源:https://openai.com/index/distill/
Distill 是一个网站及相关工具集合,它使人们能够更轻松地使用现代网络技术来解释机器学习概念。例如,人们已经使用该平台来探索 t-SNE 算法的微妙设置(opens in a new window) (http://distill.pub/2016/misread-tsne/)、揭开合成图像中棋盘伪影的神秘面纱(opens in a new window) (http://distill.pub/2016/deconv-checkerboard/),以及深入了解生成手写文字的循环神经网络(opens in a new window) (http://distill.pub/2016/handwriting/)。
Andrej 将担任该刊物的指导委员会成员,Greg 正在资助 Distill 机器学习清晰表达奖(opens in a new window) (http://distill.pub/prize/),该奖项表彰在沟通机器学习及相关主题思想方面的杰出成果(发表在任何平台上!)
相似文章
@SergioPaniego: 在模型蒸馏成为攻击向量之前,它确实是一种在你关心的任务上提升模型性能的便捷方法……
本文简要介绍了AI中模型蒸馏的历史,并预告了即将举行的一场关于使用TRL(Transformer强化学习)蒸馏开放模型的直播课程。
@ben_burtenshaw: 在模型蒸馏被视为攻击向量之前,它确实是提升特定任务模型性能的实用方法……
Ben Burtenshaw 宣布将于7月7日进行一场直播,内容涵盖后训练中的知识蒸馏,演示如何使用小型模型实现接近大型模型的性能。
@Miles_Brundage: 工业规模蒸馏
Miles Brundage分享了一个关于工业规模蒸馏的链接,可能指的是一篇关于AI中大规模模型蒸馏的研究论文或讨论。
掩码蒸馏:将思维链内化到语言模型中
掩码蒸馏是一种知识蒸馏框架,它训练学生大语言模型仅预测解决方案令牌,同时推理教师提供反馈,旨在将思维链计算内化到模型参数中。该方法显示任务相关的成功,在GSM8K上有效,但对于像Countdown这样更困难的任务需要小型脚手架。
DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation
DistilVDR is a compact 524M visual document retriever distilled from an 8B teacher via cosine alignment, achieving near-teacher accuracy on ViDoRe with 15.6x smaller indexes and faster indexing.