标签
提出了一种基于信息论的框架，用于优化扩散模型中的无分类器引导调度，在ImageNet和COCO基准上实现了条件一致性与样本多样性之间更优的权衡。
本文提出了一种热力学智能度量，将智能定义为让罕见但有效的未来更有可能出现的能力。它引入了一个名为“罕见有效提升”的度量，用于量化系统相较于被动基线，产生罕见但可接受结果的频率提高了多少。
宾汉姆顿大学的研究人员利用香农熵开发了一种数学方法，能以99%的成功率解决Wordle谜题，该方法优先考虑信息量大的猜测而非可能的答案。
本文类比生物进化与技术进化，解释了模块化与有性生殖如何使种群提升信息获取速率。模拟实验表明，混合遗传物质能加速有益突变的传播，类似于技术在现有组件基础上的迭代构建方式。
本文提出一种多模态学习的信息论分析，揭示了捕捉样本特定交互的必要性，并提出了DMIL范式，通过变分分解和微调显式建模和学习这些交互，实现了优越性能。
本文开发了一个几何框架，利用句子嵌入来衡量文本的语义内容，提出了一个三维语义轮廓（新颖性、广度、整合性）和一个标量权衡三角形，并在合成类别和小说中进行了验证。
本书提出了深度表示学习的数学理论，旨在利用优化和信息论揭开大型深度网络内部机制的神秘面纱，使架构设计成为线性代数和微积分的问题。
InfoShield 提出了一种基于信息论优化的隐私保护语音表示方法，用于心理健康筛查，在减少敏感属性推断的同时保持诊断准确性。一种新颖的 TimeAwareMINE 估计器解决了时序语音中的时静态错位问题。
本文发展了一个测度论框架，分析对比学习何时恢复有意义的潜在几何结构，引入了正对采样的'多样性条件'和一个支持修正的InfoNCE变体。实验表明，采样多样性与架构归纳偏置在对比表示学习中存在关键交互。
本文形式化了监督学习中贝叶斯充分表示（Bayes-sufficient representations）的概念，定义了在给定损失函数下，一个表示何时恰好保留了贝叶斯最优预测所需的信息。文章引入了贝叶斯商（Bayes quotient）作为依赖于损失函数的典范对象，并将该框架与性质激发（property elicitation）相关联，通过实验阐明了充分性、最小性与冗余保留信息之间的区别。
本文介绍了扩散模型作为一类技术的组成部分，这类技术会隐藏信息并训练模型猜测这些信息，认为扩散的破坏性方法灵活且具有优势，尤其在数据稀缺的场景下；文章还讨论了探索问题，并介绍了一种新型的概率图模型。
InfoQuant 提出了一种无需训练的方法——峰值抑制正交变换（PSOT），用于重塑低比特大语言模型量化中的激活分布，在 W4A4KV4 设置下保留了 97% 的浮点精度，并优于之前的 PTQ 方法。
本文提出了以人为中心的学习机制（HCLM），这是一个用于研究开放和受控学习系统的动态信息理论框架。它通过有效信息力形式化了熵正则化，推导了收敛性和泛化结果，并提供了对尺度律行为的条件性解释。
该论文提出了一种香农缩放定律，将LLM训练建模为通过噪声通道的信息传输，解释了灾难性过训练和量化退化等非单调性能现象，并展示了相比传统缩放定律更优越的预测精度。
本文挑战了当前视觉语言模型忠实地融合多模态数据的假设，提出了一种基于信息论的 Modality Translation Protocol，并引入了新指标（Toll、Curse、Fallacy of Seeing）来评估可信度，而非传统的多模态增益。
一篇新论文将部分信息分解与时延互信息应用于多智能体大语言模型系统，证明了智能体之间的关系信息是可测量的，且真正的协调既需要分化也需要共同目标，这与组织心理学的研究发现相呼应。
本文从信息论角度解释了合成数据何时会改善或降低LLM训练效果，区分了信息开放和信息封闭的生成循环，并通过数据处理不等式解释了模型崩溃的原因。
本文提出了一个统一的理论框架，用于描述深度学习中的相变（grokking、涌现能力）和非平衡化学中的相变，将两者描述为受两个梯度场控制的驱动信息系统。
本文推导了人机团队的紧密理论界限，证明了基于置信度的聚合何时能产生互补效应，并确立了在特定错误相关性下的不可能性结果。