论文页面 - FAAST：通过闭式快速权重的前向联想学习实现测试时监督适应

来源：https://huggingface.co/papers/2605.04651

摘要

FAAST通过前向计算将带标签样本编译为快速权重，从而实现高效的任务适应，相较于传统反向传播方法，在速度和内存节省方面均取得显著提升。

适应预训练模型通常需要在反向传播的高训练成本与基于记忆或上下文学习的高推理开销之间进行权衡。我们提出FAAST，一种纯前向联想适应方法，能够通过单次前向传播以解析方式将带标签样本编译为快速权重。通过消除记忆或上下文依赖，FAAST实现了常数时间推理，并将任务适应与预训练表示解耦。在图像分类和语言建模基准测试中，FAAST在适应时间上减少超过90%，性能达到或超越基于反向传播的适应方法；与基于记忆/上下文的适应方法相比，内存使用节省高达95%，且性能相当。这些结果表明，FAAST是一种高效、可扩展的监督任务适应方案，尤其适用于资源受限的模型。我们已在 https://github.com/baoguangsheng/faast 开源代码和模型。

查看 arXiv 页面 (https://arxiv.org/abs/2605.04651)查看 PDF (https://arxiv.org/pdf/2605.04651)GitHub3 (https://github.com/baoguangsheng/faast)加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.04651)

在你的智能体中获取此论文：

hf papers read 2605\.04651

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型3

gshbao/faast-gpt2-xl 2B• 大约6小时前更新 • 11 (https://huggingface.co/gshbao/faast-gpt2-xl)

gshbao/faast-Qwen2.5-3B-Instruct 3B• 大约6小时前更新 • 14 (https://huggingface.co/gshbao/faast-Qwen2.5-3B-Instruct)

gshbao/faast-Qwen2.5-7B-Instruct 8B• 大约6小时前更新 • 1 (https://huggingface.co/gshbao/faast-Qwen2.5-7B-Instruct)

引用此论文的数据集0

暂无数据集关联此论文

请在数据集的 README.md 中引用 arxiv.org/abs/2605.04651 以在此页面添加链接。

引用此论文的 Spaces0

暂无 Space 关联此论文

请在 Space 的 README.md 中引用 arxiv.org/abs/2605.04651 以在此页面添加链接。

包含此论文的收藏集0

暂无收藏集包含此论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中以在此页面添加链接。