rate-distortion-theory

本文探讨有限智能体中记忆与同伴通信之间的权衡，提出“记忆–信号传递前沿”以在资源限制下优化信息分配，提升任务性能。

本文介绍了 RateQuant，一种用于优化混合精度 KV Cache 量化的方法。该方法利用率失真理论解决失真模型不匹配问题，与 KIVI 和 QuaRot 等现有方法相比，在极低的校准开销下显著降低了困惑度。