论文页面 - 论PEFT的扩展：迈向百万个性化模型与万亿参数

来源：https://huggingface.co/papers/2606.02437 发布于6月1日

#1 今日论文 (https://huggingface.co/papers/date/2026-06-02) 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

参数高效微调（Parameter-efficient fine-tuning，PEFT）通常被视为全参数微调（full fine-tuning）的更廉价替代方案。我们研究其更广泛的角色：将小型可训练适配器（trainable adapters）作为强共享基础模型（shared foundation models）之上的持久本地状态（persistent local state）。在此框架下，基础模型提供共享能力，而适配器承载实例特定行为（instance-specific behavior），如偏好、技能、工具习惯以及类似记忆的更新。我们围绕三个扩展维度组织问题：向上扩展（Scale Up），即更强的共享先验（shared priors）使小型局部更新更有用；向下扩展（Scale Down），研究适配器在小到何种程度时仍保持可靠；向外扩展（Scale Out），即众多持久的适配实例共存。MinT 提供了一个基础设施示例，用于管理适配器身份（adapter identity）、版本（revision）、来源（provenance）、评估（evaluation）和服务驻留（serving residency）。综合来看，这些结果表明 PEFT 可以成为持久个性化模型的紧凑基座，而不仅仅是全参数微调（full fine-tuning）的预算替代品。

查看 arXiv 页面 (https://arxiv.org/abs/2606.02437)查看 PDF (https://arxiv.org/pdf/2606.02437)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.02437)

引用本文的模型0

暂无模型关联此论文

请在你的模型 README.md 中引用 arxiv.org/abs/2606.02437，即可在此页面建立链接。

引用本文的数据集0

暂无数据集关联此论文

请在你的数据集 README.md 中引用 arxiv.org/abs/2606.02437，即可在此页面建立链接。

引用本文的 Spaces0

暂无 Space 关联此论文

请在你的 Space README.md 中引用 arxiv.org/abs/2606.02437，即可在此页面建立链接。

包含本文的收藏集0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)中，即可在此页面建立链接。