entropy

一篇新论文提出了一种基于概率语言Trie树和预测差分编码的顺序KV缓存压缩方法。该方法通过利用语言模型Token的序列结构而非对向量进行独立处理，实现了超越TurboQuant约91.4万倍的理论压缩比。

本文利用强化学习探讨了人工智能代理中的“价值自由”概念，将其定义为基于 Q 值衍生出的不可预测性和熵的度量。