parameterisation-invariance

标签

Cards List
#parameterisation-invariance

大语言贝叶斯不具有重参数化不变性

arXiv cs.LG ↗ · 2026-10-03 缓存

本文指出,大语言贝叶斯(LLB)——即利用指数化证据下界得到的权重,对语言模型生成的概率程序的后验进行加权平均的框架——并不具备重参数化不变性。等价的程序写法可能获得显著不同的权重(差异最高可达 31.9 倍,甚至可导致符号反转),进而颠倒贝叶斯因子,并在模型后验中引入误差;该误差由下界缺口的离散程度所控制,可通过一个紧致的 Hilbert 距离界加以刻画。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈