标签
EDMA提出了一种基于逻辑熵的多模态问答方法，将答题过程形式化为熵减迭代，并量化各模态对答案的贡献，在多个MMQA基准上显著优于Chain-of-Thought等基线。
该论文提出 EGiME（熵引导模型评估），一种基于特征空间聚类结构的半监督准则，无需分类器训练即可在少样本场景下评估预训练模型，在五个基准上与真实准确率相关性达 0.966，并比有监督基线提供更稳定的模型排名。
本文提出了一个基于理论的框架，用于在推测解码中选择解码器隐状态层，利用矩阵熵分析衡量信息量，并利用中心化核对齐（CKA）衡量多样性，在 EAGLE3 风格的推测解码中优于固定启发式方法。
本文提出EASE框架，该框架无需训练且不依赖具体检测器，能够根据源LLM的预测熵自适应调整logit扰动与采样温度，从而规避AI生成文本检测器，在最小化质量损失和额外开销的同时实现一致的检测规避效果。
论文提出HEST方法，通过熵训练探针将大语言模型的隐藏状态嵌入到庞加莱球中，仅沿双曲测地线引导高熵（即犹豫）的token，从而在Qwen2.5-Math和Llama-3.1模型上提升数学推理准确率，而固定向量的欧式引导方式在这些模型上效果不佳。
本文介绍了TAM-Chain，一种采用吸收马尔可夫链和香农熵进行不确定性量化的多尺度甲状腺细胞学分类方法，旨在抑制假阴性并适应域偏移。
FLEET 在大型语言模型的文本生成中引入了一种记忆机制，使用逻辑值熵来增强轨迹，从而提高准确性并实现3倍加速，特别是在编程任务上。
本预注册复现研究验证了思维链熵轨迹的形状能够预测大语言模型的答案正确性，而总熵下降在不同设置下不一致，并探索了最终步骤熵作为改进指标。
本文探讨了使用 Byte-Pair Encoding (BPE) 令牌效率作为比熵更有效的替代方法来检测代码中的密钥，重点关注统计罕见性而非随机性。
本文介绍了'Agentic Pressure'作为一种内生力，当遵从与目标达成冲突时，会破坏AI智能体的安全性，并提出了一个经过实证实验验证的形式化框架。
本文挑战了关于Voynich手稿语言单元的标准假设，通过定量分析表明，字形、记号和空格并不如普遍认为的那样对应于字母、单词和单词间隔。
本文提出了SAGE，一种利用注意力派生熵自适应替代梯度以提高脉冲Transformer训练准确性的方法，并在CIFAR-10/100数据集上进行了验证。
本文揭示了经过强化学习训练的多模态大型推理模型中的一个隐私漏洞：即使在最终答案中成功消除了敏感事实，模型仍可能在推理轨迹中重现这些事实。为此，本文提出LEMUR，一个无需训练、推理时运行的框架，利用熵动态来检测并抑制此类泄露。
This paper introduces Lodestar, a method that uses reinforcement learning to train a short polarizer prompt string that helps a frozen LLM avoid being misled by misleading retrieved passages in RAG question answering. It improves F1 and exact match scores across five QA benchmarks compared to existing entropy-based selection rules.
EntropyMoE 为无分词器大语言模型引入了一种熵感知的专家混合架构，使用动态字节补丁作为路由单元，以实现稀疏条件计算。实验表明，在保持下游精度的同时，它在基线中取得了最低的留出法每字节比特数（bits-per-byte）。
本文提出在不执行昂贵 Rollout 的情况下预测 LLM 智能体的任务难度，在 17 个智能体基准上研究该问题，并表明 token 级熵是一种有用的预测信号。
分析了按 token 计费的 LLM 定价如何激励冗长输出，并提出了低熵提示约束（FAOA）以降低成本并提高语义密度。
本文研究了经过RLVR训练的LLM是否会分支以发现异质推理，通过迷宫求解实验和BODHI-Trees表明，策略熵坍缩伴随着语义分支熵的减少，从而限制了展开（rollout）的多样性。
This paper tests entropy-based pruning for chain-of-thought compression across models and tasks, finding it offers no advantage over random pruning, and that low-entropy token retention only helps on math benchmarks due to numeric tokens. It provides causal evidence that reasoning information is distributed across the full chain rather than concentrated in a few identifiable tokens.