标签
引入熵约束自适应随机量化（ECASQ），一种方法，联合优化量化值以在熵预算和无偏约束下最小化均方误差，用于机器学习工作负载中的高效压缩。
SCAPE是一种通信高效的分布式优化器，利用一阶矩统计量实现LLM训练的极端稀疏化，在保持准确性的同时将实际训练时间减少高达43.3%。
本文指出了Dion低秩谱优化器中的几何失配，并提出了Orth-Dion，该方案用QR正交化替换列归一化，以在相同通信成本下弥合与Muon等全秩方法的收敛差距，并在大规模语言模型预训练中进行了验证。
# 论文页面 - EdgeDetect：用于联邦入侵检测的重要性感知梯度压缩与同态聚合 来源：[https://huggingface.co/papers/2604.14663](https://huggingface.co/papers/2604.14663) ## [https://huggingface.co/papers/2604.14663#edgedetect-importance-aware-gradient-compression-with-homomorphic-aggregation-for-federated-intrusion-detection](https://huggingface.co/papers/2604.14663#edgedetect-importance-aware-gradient-compression-fo