论文页面 - 使用ART（基于艺术的强化训练）微调多模态大语言模型

来源：https://huggingface.co/papers/2606.11854

摘要

ART 通过梯度反向传播优化原始视觉输入，实现对冻结多模态语言模型的参数高效微调，性能与 LoRA 相当，同时支持预编译计算图。

大型语言模型（LLM）主要有两种参数高效微调（https://huggingface.co/papers?q=Parameter-Efficient%20Fine-Tuning）（PEFT）技术。低秩适配（LoRA（https://huggingface.co/papers?q=LoRA））在 LLM 层之间引入额外权重，而软提示（https://huggingface.co/papers?q=Soft%20Prompting）则向 LLM 输入中添加微调特有的原始 token。然而，这两种方法都需要修改预编译、预优化 LLM 的计算图（https://huggingface.co/papers?q=computational%20graphs），因此在高吞吐引擎（如 vLLM（https://huggingface.co/papers?q=vLLM））中均未得到完全支持。我们提出使用 ART（基于艺术的强化训练）进行微调。该方法仅通过优化原始视觉输入，将信息注入冻结的多模态大语言模型（https://huggingface.co/papers?q=Multimodal%20Large%20Language%20Model）（MLLM），从而在预编译计算图（https://huggingface.co/papers?q=computational%20graphs）上支持软 token 方法。它依赖反向传播（https://huggingface.co/papers?q=backpropagation）将梯度传回普通像素数组，因此支持任何微调目标。此外，优化后的视觉输入可风格化为任务相关的计算艺术作品。该方法的有效性已在不同规模的流行开源 Qwen 架构及多个文本基准上得到验证。具体而言，ART 在数学和结构化工具使用基准上达到了与 LoRA（https://huggingface.co/papers?q=LoRA）相当的精度。

查看 arXiv 页面（https://arxiv.org/abs/2606.11854）查看 PDF（https://arxiv.org/pdf/2606.11854）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.11854）

让你的智能体获取这篇论文：

hf papers read 2606\.11854

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

尚无模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.11854 以建立链接。

引用此论文的数据集0

尚无数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.11854 以建立链接。

引用此论文的 Space0

尚无 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.11854 以建立链接。

包含此论文的收藏集0

尚无收藏集包含此论文

请将此论文添加到一个收藏集（https://huggingface.co/new-collection）以建立链接。