论文页面 - Pion：一种通过正交等价变换保持谱的优化器

来源：https://huggingface.co/papers/2605.12492

摘要

Pion 是一种用于大型语言模型训练的保谱优化器，它利用正交等价变换在权重更新过程中保持奇异值不变，从而提供与标准优化器相当的稳定性能。

我们提出了 Pion，一种基于正交等价变换（https://huggingface.co/papers?q=orthogonal%20equivalence%20transformation）的大型语言模型（LLM）训练保谱优化器。与 Adam（https://huggingface.co/papers?q=Adam）和 Muon（https://huggingface.co/papers?q=Moon）等加法优化器（https://huggingface.co/papers?q=additive%20optimizers）不同，Pion 通过左右正交变换（https://huggingface.co/papers?q=orthogonal%20transformations）更新每个权重矩阵，从而在整个训练过程中保持其奇异值（https://huggingface.co/papers?q=singular%20values）不变。这产生了一种优化机制（https://huggingface.co/papers?q=optimization%20mechanism），在固定权重矩阵（https://huggingface.co/papers?q=weight%20matrices）谱范数（https://huggingface.co/papers?q=spectral%20norm）的同时调节其几何结构。我们推导了 Pion 的更新规则，系统地审查了其设计选择，并分析了其收敛行为（https://huggingface.co/papers?q=convergence%20behavior）及几个关键属性。实证结果表明，Pion 为 LLM 预训练和微调提供了一种稳定且具有竞争力的标准优化器替代方案。

查看 arXiv 页面（https://arxiv.org/abs/2605.12492）查看 PDF（https://arxiv.org/pdf/2605.12492）项目页面（https://spherelab.ai/pion/）GitHub（https://github.com/Sphere-AI-Lab/pion）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.12492）

在您的代理中获取此论文：

hf papers read 2605\.12492

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有链接此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2605.12492 即可从此页面建立链接。

引用此论文的数据集0

没有链接此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.12492 即可从此页面建立链接。

引用此论文的 Spaces0

没有链接此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2605.12492 即可从此页面建立链接。

包含此论文的收藏0

没有包含此论文的收藏

将此论文添加到收藏（https://huggingface.co/new-collection）即可从此页面建立链接。