information-density

本文介绍了从LLM代理视角对网页信息密度进行的实证测量，使用了涵盖五个类别的100个URL的精选基准。研究发现，结构化提取平均减少了71.5%的令牌数量，同时保持了答案质量，并揭示了Claude Code中一个未记录的压缩层。

arXiv 预印本指出，信息密度低是 NER 在嘈杂用户生成内容性能崩溃的根本原因，并提出窗口感知优化模块（WOM），在 WNUT2017 上最高提升 F1 4.5%。

本文重新审视了LLM推理背景下的均匀信息密度（UID）假设，引入了一个基于熵的框架来量化信息流的均匀性。在七个推理基准上的实验发现，高质量的推理在步骤过渡上表现出局部均匀性，但在轨迹结构上呈现全局非均匀性，这表明LLM推理与人类交流模式存在根本性差异。