KL Zero: KL散度直觉游戏
摘要
KL Zero是一款交互式浏览器游戏，玩家在其中绘制概率分布以匹配目标KL散度值，帮助用户直观理解机器学习中KL散度的概念。
暂无内容
查看缓存全文
缓存时间: 2026/06/02 04:47
# KL Zero
来源：https://klzero.sarna.dev/
**绘制到目标 KL 值。**
KL 散度衡量的是：如果实际用的是你画的绿色分布 Q，那么原本的蓝色分布 P 看起来会多么令人意外。
画出任意概率分布（总和接近 1），让它的 KL 散度尽可能接近目标数值。
你只有 10 秒。开始！
**KL 0.1**
几乎相同
**KL 1**
形状偏移
**KL 10**
相距甚远
相似文章
KL散度：用还是不用？量化分析师的两难之选
讨论了在量化分析中使用KL散度的权衡，将其描述为量化分析师面临的哈姆雷特式两难困境。
@neural_avb: 这篇文章实际上解释了On Policy Distillation损失函数的所有组成部分（前向与反向KL），等等…
本文解释了On Policy Distillation损失函数的组成部分，包括前向与反向KL散度、监督粒度、特权类型以及特权优势估计。还提供了来自Thinking Machines、Hugging Face等的其他资源。
训练-推理内核合约：约束后训练与部署中的差异
本文形式化了现代AI后训练流程中训练内核与推理内核之间的数值差异，提出了一种内核合约规范以及一系列Lipschitz风格的界限，以减轻离策略偏差、切片级回归和可重复性问题。
基于熵-KL散度的令牌掩码：一种用于大型语言模型选择性微调的新方法
提出了 EKSFT，一种面向大型语言模型的选择性微调方法，该方法掩码具有高熵或与参考模型高KL散度的令牌，在注入任务知识的同时保留预训练分布。在数学推理基准上的实验表明，它优于标准SFT，并改进了后续的RL微调。
用于LLM强化学习的预测性散度掩码
提出用于LLM强化学习的预测性散度掩码，通过预测下一步策略梯度步骤将增加还是减少信任区域所使用的散度，改进了PPO的方向准则，从而带来更好的对齐，并提升了不同模型规模下的强化学习训练效果。