标签
本文介绍了GeoPair，一个用于Transformer压缩的免训练框架，它在保持激活几何结构的同时优化跨层分解，实现了跨多样架构的最新结果。
本文表明，Johnson–Lindenstrauss引理在高维情况下可能对保留的几何结构无法提供信息，并推导了高斯模型中距离恢复、最近邻排序和协方差形状等特性的精确界限。