论文页面 - GeoPair：免训练Transformer压缩的几何保持跨层分解

来源：https://huggingface.co/papers/2609.25963

摘要

Transformer架构存在跨层冗余，但训练后压缩管道通常以孤立方式优化各层，或依赖忽略层特定激活几何特性的启发式分组策略。我们引入一种基于原理的免训练框架，可序列化地优化跨层权重配对与共享字典分解。与强制相邻层权重共享基础基或启发式合并激活统计量不同，我们的方法能识别结构兼容的投影，并学习更好地保留每层独特校准几何的共享表示。结合结构化稀疏性，该方法可在不牺牲功能保真度的情况下实现高效的权重分解。在多种架构、规模和模态上，我们的方法均取得最优效果，持续优于采用启发式分组策略的独立结构化权重分解及其他成对权重分解方法。通过用收敛的优化驱动管道替代启发式工程策略，我们为跨模态可扩展的Transformer压缩建立了理论基础。

查看arXiv页面 (https://arxiv.org/abs/2609.25963) 查看PDF (https://arxiv.org/pdf/2609.25963) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.25963)

通过代理获取此论文： hf papers read 2609\.25963

未安装最新CLI？请运行：curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

无模型链接此论文

在模型README.md中引用arxiv.org/abs/2609.25963可从此页面建立链接。

引用此论文的数据集 0

无数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2609.25963可从此页面建立链接。

引用此论文的Spaces 0

无Space链接此论文

在Space README.md中引用arxiv.org/abs/2609.25963可从此页面建立链接。

包含此论文的收藏集 0

无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)可从此页面建立链接。