标签
论文提出C²MOE，一种基于一致性与互补性引导的混合专家框架，用于对话中的不完整多模态情感识别，利用信息论分解在模态缺失时提高鲁棒性。
This paper introduces the Human–LLM Reflection Framework (HRF) to compare human and LLM revision behavior, finding that LLM reflection often yields zero or negative information gain and behaves more like conditioned re-generation than genuine error-driven revision.
这篇文章重点介绍了克劳德·香农对现代计算和人工智能的基础性贡献，包括信息论、逻辑门的发明，以及早期的计算机国际象棋编程，这些都帮助推动了机器学习的起步。
本文立场论文反驳了自然语言可以完全取代形式语言（如编程语言）的观点，提出了一个基于信息论的特定性框架，并证明了一个交叉定理，表明形式语言在高特定性任务中更具优势。
揭示了LLM中的MoE路由遵循类似于哈夫曼编码的频率-多样性定律，并提出了子集差异剪枝（Subset Difference Pruning）来消除功能冗余，实现最优压缩。
FlowEdit 是一个新颖的框架，利用信息论原理来调节LLMs的内部推理流，使其能够针对具有冲突条件的不适定问题在单次生成中输出多个替代回答。实验表明，与领先的专有模型相比，精确集合匹配准确率提升68%，回答信息量提升24%。
A detailed walkthrough explains how Claude Shannon's 1948 information theory underlies LLMs and shows that the 'next-token prediction' story is misleading, linking compression and prediction mathematically.
介绍了局部冗余，这是一种基于通用压缩理论推导出的神经网络可塑性的信息论度量，并表明它比现有启发式方法能更好地预测下游性能。
本文利用广义外信息传递（GEXIT）函数为扩散模型建立了守恒律，表明交叉熵可以表示为沿噪声路径的局部信息论导数的积分，从而统一了离散和连续扩散的似然表征。
本文从理论上阐述了Transformer中的MLP如何以信息论最优速率存储事实，并提供了一种闭式构造方法，该方法以远少于先前方法的参数实现最优存储容量，并支持模块化事实编辑。
本文认为，语言模型表示中的类内方差并非不完全的神经坍缩，而是分配的信息存储，且这种分配服从信息下限定律。在14个模型中，宏观类别结构仅承载4–12%的表示方差，而词元内上下文则占据79–91%。
本文证明了贝叶斯更新和乘法权重更新的遗憾满足一个精确的信息核算恒等式，将学习者的额外损失分解为不确定性支付和到任意比较器的信息距离减少。累积支付定义了内在时间，从而得到了精确的自适应遗憾分解，统一了 Hedge、贝叶斯模型平均、在线凸优化等算法。
一种名为IAPO（Information-Aware Policy Optimization）的新后训练方法，根据每个token与最终答案的条件互信息为其分配优势，实现了推理长度缩短高达47%，同时提高了数学基准的准确性。
Google Data Cloud 的前沿AI团队讨论了一种利用信息理论评估AI代理的新方法，创建了一个名为 Discovery Bench 的元基准，该基准衡量一个查询在代理失败之前可以有多模糊，从而提供比简单的通过/失败考试更细致的代理能力图谱。
本文从理论上计算了一个简单的细胞网络计算配体浓度的能量成本，表明打破细致平衡和消耗能量对于学习是必要的，这对资源受限的环境具有重要意义。
本文引入了分析可解的贝叶斯信息受限扩散（BIRD）模型，用于研究扩散模型中的记忆-泛化相变，发现生成过程接近记忆边缘，且信息限制有助于规避维度灾难。
一篇直观、可视化的信息论入门介绍，涵盖熵、互信息和信道容量，仅需基础概率知识。该论文阐述了压缩和传输的基本极限。
本文介绍了一种用于网络中分布式秘密存储的形式化框架，在故障下的生存能力与对抗恶意破坏的抵抗力之间取得平衡，并推导出以最小信息承载子图表示的精确生存能力。
本文报告了一项关于前沿LLM智能体（Claude Opus 4.8）小型经济的预注册实验，测试了关于财富增长的信息论容量区域以及人口失调的平均场残差标度律的预测。结果证实了将智能体知识与收益联系起来的定量信息定律，但拒绝了平均场假设，揭示了离散吸引子动力学。