标签
本文建立了联合嵌入预测架构（JEPA）中使用的SIGReg目标与主动推理框架之间的形式对应关系，表明在某些条件下，训练目标成为精确的变分自由能。它将非对比正则化器组织成一个熵估计器层次结构，并证明了理论结果，包括精确信息瓶颈和SIGReg保留的惊讶界。
提出GenDa，一个统一的无监督强化学习框架，通过技能重新标记和互补信息瓶颈解决了非平稳技能语义和脆弱泛化问题，显著提高了数据效率和泛化能力。
本文提出了一种语言不变的欺骗检测框架，采用师生对抗学习和变分信息瓶颈来缓解语言偏见，在九个数据集上实现了高达36.2%的相对等错误率降低。
本文介绍了SynIB，一种基于信息瓶颈原则的可扩展目标函数，通过在被遮蔽一个模态时对自信预测进行惩罚，来定位多模态学习中的协同信息，从而提升需要跨模态推理的任务的性能。
该论文挑战了“监督潜变量与视觉目标之间的余弦对齐能提高视觉语言模型准确性”的假设，发现了强烈的负相关。引入了PRISM诊断方法，揭示答案是从潜变量下游解码的，而非潜变量内部，并且辅助损失通过共享参数重塑了语言模型。
提出逐步置信归因（SCA），一个无需内部访问即可为黑盒大语言模型的推理轨迹分配逐步置信度的框架，利用信息瓶颈原理区分合法变异性与错误。实验表明，SCA能可靠地识别低置信度步骤，并将自纠正成功率相比答案级别反馈提升高达13.5%。
本文为视觉-语言-动作（VLA）模型引入了一种信息瓶颈适配器（IB-Adapter），旨在提升模型在未见过的视觉干扰下的鲁棒性，且无需额外数据，在极小的参数开销下实现了高达30%的性能提升。