entropy-guided

论文介绍了MESH-FL，一种用于边缘设备上多模态联邦学习的熵引导矩阵乘积态压缩框架。它自适应地分配每层和每种模态的压缩秩，在异构树莓派集群上实现了高达56.8倍的压缩，并在最终准确率上比未压缩的FedAvg提升了2.01%。

SeKV是一种分辨率自适应的KV缓存方法，它将上下文组织成基于熵引导的语义片段，并存储在GPU-CPU层级结构中，从而在解码过程中实现选择性Token级重建，同时在128K上下文下相比全缓存减少53.3%的GPU内存占用。

提出EntMTP，一种无需训练的调度器，基于局部熵估计自适应调整树形注意力拓扑以进行投机解码，相较于Hydra实现1.09-1.15倍加速，相较于Medusa最高达1.36倍加速。