标签
SynAct提出一种主动学习框架，通过在重复采样中计算决策与最终结果之间的互信息，将稀缺的专家反馈精准分配到最影响结果的决策点上，并将修正蒸馏为可复用规则，在四个基准、三个模型家族的全部16个设置中平均提升11.7个百分点。
该论文证明，仅靠在发布时移除信息内容（以互信息衡量）无法普遍保证开源权重模型的抗篡改能力——函数保持的重参数化会改变梯度下降几何结构，使得即使互信息为零，攻击者也可能在一次梯度步骤内恢复被移除的能力。作者提出认证需要对攻击动力学施加约束，而非仅依赖发布时的互信息。
ALICE 是一个用于零样本、上下文内互信息估计的基础模型，仅在合成分布上训练，利用整流流（rectified-flow）速度场来估计互信息，无需针对每个分布进行单独训练。它在生物学、遗传学和神经科学等领域的基准测试中取得了具有竞争力的准确率。
本文介绍了MI-SARSA，这是一种强化学习算法，通过引入互信息正则化在认知约束下平衡策略复杂性和响应时间，从而建模有限理性。
本文提出独立令牌采样（ITS），一个查询高效的框架，用于在Diffusion LLMs中检测训练数据，通过选择弱依赖令牌以减少近似误差，实现了优于最先进基线的性能提升。
本文提出一个合成基准，旨在评估信息论度量在多模态时间序列预测中衡量文本标注信息性的能力，并证明其可用于无需模型训练的标注审核。
Entropic Scree 是一个新的诊断工具，用于评估脏表格数据中的信号强度和结构，使用互信息，附带预印本和即将推出的 Python 和 R 包。
本研究比较了互信息与基于数据的敏感性分析在银行电话营销特征选择中的应用，表明敏感性分析能用更少的特征实现良好的预测，而互信息在成本降低方面更优。
CutClean 是一种针对神经网络的隐私感知剪枝方法，通过在增加稀疏性的同时减少私人信息泄露，利用辅助隐私头来量化和缓解隐私风险。
本文提出MIDAS，一种用于不完整多模态情感分析的统一框架，利用互信息解缠和不确定性感知融合，在缺失数据条件下鲁棒地表示和整合模态。
一篇直观、可视化的信息论入门介绍，涵盖熵、互信息和信道容量，仅需基础概率知识。该论文阐述了压缩和传输的基本极限。
提出MI-EPO，一种基于信息理论的多目标对齐框架，用于大型语言模型，通过互信息增强探索，确保生成的响应可区分且与不同偏好向量对齐，在冲突目标间实现稳定权衡。
InfoShield 提出了一种基于信息论优化的隐私保护语音表示方法，用于心理健康筛查，在减少敏感属性推断的同时保持诊断准确性。一种新颖的 TimeAwareMINE 估计器解决了时序语音中的时静态错位问题。
InfoAtlas是一种基础模型，能够通过单次前向传播直接估算互信息，在保持准确性的同时，比传统神经估算器实现100倍加速。该模型在合成数据上预训练，并能泛化到现实场景。
本文介绍了PromptNCE，一种使用大语言模型和对比提示来零样本估计点互信息的方法，在三个数据集上实现了与人类标注真实值的高度相关性。
OmniISR提出了一种统一框架，通过在隐藏层引入中间监督与正则化，将集中式学习和联邦学习相结合，提供了理论收敛保证，并将CL-FL差距缩小了22.60%。
本文介绍了一种光谱诊断方法，通过互信息分析内部神经表示来检测多智能体AI系统中的隐藏联盟，以应对关键的AI安全和对齐挑战。
ArXiv 预印本量化了伏尼契手稿中多层 RTL 与 LTR 约束，显示 97% 的跨边界互信息集中于特定字形转换，且简单生成模型无法同时复现所有观测到的结构特征。