标签
本文通过比较生成输出与训练数据的熵来研究大型语言模型中的条件多样性差距，并提出一个信息论框架来度量和缓解这一差距。
本文引入了一个令牌成本账本来分析多语言分词税，将其分解为可移除和内在组成部分，表明非英语文本的大部分超额令牌成本可以通过改进的分词代码来移除。
这篇文章探讨了在对抗AI生成内容时可验证域的重要性，讨论了Anthropic的水印技术，并运用文学例子来深入探讨信息与真理之间的区别。
Entropy Scree 是 PCA 的信息论升级版，用于在杂乱的表格数据上进行稳健的秩估计和降维，代码已开源，预印本已发布。
Entropic Scree 是一种非参数、基于信息论的诊断框架，用于在复杂表格数据中映射内在秩与信息引力，解决了标准 PCA 和其他基线的局限性。
本文从量子相对熵推导出半经典爱因斯坦方程，为 Jacobson 的引力热力学方法提供了量子场论的推广。
一位研究者提出了一个理论界限，表明基于相似性的AI文本检测器（水印、检索）面临由文本分布碰撞熵决定的假阳性率下限，并请求社区对证明及其与先前工作的联系提供反馈。
一篇博客文章探讨了强化学习在LLM上尽管信息论上效率低下，却实现了快速样本效率的悖论，并强调了低偏差价值函数的重要性。
本文提出了一个针对基于回放的持续学习的逐层信息论框架，将泛化差距分解为回放引起的表示漂移项和优化依赖项，并通过Wasserstein松弛与SGLD实例化对其进行了细化。
本文将 PAC-Bayes 理论扩展到参数空间之外，通过行为等价性对其复杂度度量进行分解，引入了 PAC-Bayes Z-information 以及超越参数空间的精确结构分解。
Annie Sexton 在 ngrok 博客上发表的一篇文章，探讨压缩与预测之间的概念联系，可能讨论预测系统和压缩算法如何在根本上相互关联。
论文提出C²MOE，一种基于一致性与互补性引导的混合专家框架，用于对话中的不完整多模态情感识别，利用信息论分解在模态缺失时提高鲁棒性。
This paper introduces the Human–LLM Reflection Framework (HRF) to compare human and LLM revision behavior, finding that LLM reflection often yields zero or negative information gain and behaves more like conditioned re-generation than genuine error-driven revision.
这篇文章重点介绍了克劳德·香农对现代计算和人工智能的基础性贡献，包括信息论、逻辑门的发明，以及早期的计算机国际象棋编程，这些都帮助推动了机器学习的起步。
本文立场论文反驳了自然语言可以完全取代形式语言（如编程语言）的观点，提出了一个基于信息论的特定性框架，并证明了一个交叉定理，表明形式语言在高特定性任务中更具优势。
揭示了LLM中的MoE路由遵循类似于哈夫曼编码的频率-多样性定律，并提出了子集差异剪枝（Subset Difference Pruning）来消除功能冗余，实现最优压缩。
FlowEdit 是一个新颖的框架，利用信息论原理来调节LLMs的内部推理流，使其能够针对具有冲突条件的不适定问题在单次生成中输出多个替代回答。实验表明，与领先的专有模型相比，精确集合匹配准确率提升68%，回答信息量提升24%。
A detailed walkthrough explains how Claude Shannon's 1948 information theory underlies LLMs and shows that the 'next-token prediction' story is misleading, linking compression and prediction mathematically.