论文页面 - 熵作为结构先验：DiT置信空间上的对数障碍如何驱动音乐多样性与发展

来源：https://huggingface.co/papers/2606.07207

摘要

通过熵导出的对数障碍实现基于置信度的损失加权，在监督扩散训练中借助自适应梯度缩放改进了音频生成。

在生成模型中通常避免使用基于置信度的损失加权（https://huggingface.co/papers?q=Confidence-based%20loss%20weighting），因为当模型自信地犯错时会加速错误，但这种直觉在监督扩散训练（https://huggingface.co/papers?q=supervised%20diffusion%20training）中并不成立。我们引入了Eisbach对数障碍（https://huggingface.co/papers?q=Eisbach%20log-barrier），这是一种从DiT输出（https://huggingface.co/papers?q=DiT%20output）的空间能量分布（https://huggingface.co/papers?q=spatial%20energy%20distribution）的熵（https://huggingface.co/papers?q=entropy）中导出的无参数权重：高熵抑制梯度，低熵保留梯度。将该方法应用于Stable Audio 3（https://huggingface.co/papers?q=Stable%20Audio%203）Medium在MusicCaps（https://huggingface.co/papers?q=MusicCaps）上的LoRA微调（https://huggingface.co/papers?q=LoRA%20fine-tuning），意外地产生了比未加权训练更强的主题发展、更清晰的声学区分和更高的纹理多样性，这与模式坍缩相反。这是因为在监督扩散中，梯度方向被锁定到真实值，因此置信度仅缩放步长大小；同时，时间熵（https://huggingface.co/papers?q=temporal%20entropy）会降低平坦样本的权重，同时保留高对比度样本。结果是一种在线、自指的数据课程（https://huggingface.co/papers?q=data%20curriculum），纯粹从前向传播（https://huggingface.co/papers?q=forward%20pass）中涌现，并附有经过分析的噪声级动态（https://huggingface.co/papers?q=noise-level%20dynamics）和可检验的预测。

查看arXiv页面（https://arxiv.org/abs/2606.07207） 查看PDF（https://arxiv.org/pdf/2606.07207） 项目页面（https://huggingface.co/ReasoningKingdom/Eisbach-Medium） 添加到收藏集（https://huggingface.co/login?next=%2Fpapers%2F2606.07207）

引用本文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2606.07207以从本页面建立链接。

引用本文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2606.07207以从本页面建立链接。

引用本文的Space0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2606.07207以从本页面建立链接。

包含本文的收藏集0

没有包含此论文的收藏集

将本文添加到一个收藏集（https://huggingface.co/new-collection）中以从本页面建立链接。