mutual-information

一篇直观、可视化的信息论入门介绍，涵盖熵、互信息和信道容量，仅需基础概率知识。该论文阐述了压缩和传输的基本极限。

提出MI-EPO，一种基于信息理论的多目标对齐框架，用于大型语言模型，通过互信息增强探索，确保生成的响应可区分且与不同偏好向量对齐，在冲突目标间实现稳定权衡。

InfoShield 提出了一种基于信息论优化的隐私保护语音表示方法，用于心理健康筛查，在减少敏感属性推断的同时保持诊断准确性。一种新颖的 TimeAwareMINE 估计器解决了时序语音中的时静态错位问题。

InfoAtlas是一种基础模型，能够通过单次前向传播直接估算互信息，在保持准确性的同时，比传统神经估算器实现100倍加速。该模型在合成数据上预训练，并能泛化到现实场景。

本文介绍了PromptNCE，一种使用大语言模型和对比提示来零样本估计点互信息的方法，在三个数据集上实现了与人类标注真实值的高度相关性。

OmniISR提出了一种统一框架，通过在隐藏层引入中间监督与正则化，将集中式学习和联邦学习相结合，提供了理论收敛保证，并将CL-FL差距缩小了22.60%。

本文介绍了一种光谱诊断方法，通过互信息分析内部神经表示来检测多智能体AI系统中的隐藏联盟，以应对关键的AI安全和对齐挑战。

ArXiv 预印本量化了伏尼契手稿中多层 RTL 与 LTR 约束，显示 97% 的跨边界互信息集中于特定字形转换，且简单生成模型无法同时复现所有观测到的结构特征。