论文页面 - MNAFT：用于图像翻译的多模态大型语言模型模态神经元感知微调

来源：https://huggingface.co/papers/2604.16943 发布日期：4月18日

·

提交者：https://huggingface.co/liboaccn

(https://huggingface.co/liboaccn)

李波 (https://huggingface.co/liboaccn) 于 4月21日

摘要

模态神经元感知微调（MNAFT）通过有选择性地更新多模态大型语言模型中的特定神经元来增强图像翻译，在保留预训练知识的同时提升跨模态理解能力。

多模态大型语言模型（https://huggingface.co/papers?q=Multimodal%20large%20language%20models)（MLLM）已展现出令人印象深刻的能力，但它们往往难以有效捕捉图像中对于准确图像翻译（https://huggingface.co/papers?q=image%20translation）至关重要的细粒度文本信息。这通常导致视觉文本输入与用于图像翻译（https://huggingface.co/papers?q=image%20translation）的文本输入/输出之间存在模态差距（https://huggingface.co/papers?q=modality%20gap）。现有方法主要依赖于指令微调（https://huggingface.co/papers?q=instruction%20fine-tuning），存在预训练知识参数冗余（https://huggingface.co/papers?q=parameter%20redundancy）的风险，阻碍了泛化性能。为了解决这一问题，我们引入了模态神经元感知微调（https://huggingface.co/papers?q=modality%20neuron-aware%20fine-tuning)（MNAFT），这是一种利用多模态大型语言模型中单个神经元专门角色来增强图像翻译（https://huggingface.co/papers?q=image%20translation）的新方法。MNAFT 通过指令驱动的激活分析（https://huggingface.co/papers?q=instruction-driven%20activation%20analysis），识别视觉和语言模块中的语言无关神经元和语言特定神经元（https://huggingface.co/papers?q=language-specific%20neurons），并评估它们在各种翻译任务中的重要性。然后，我们执行选择性微调（https://huggingface.co/papers?q=selective%20fine-tuning），仅更新与目标任务相关的所选层中语言特定和语言无关神经元（https://huggingface.co/papers?q=language-agnostic%20neurons）的参数，同时保留其他神经元和层中编码的知识。我们在多个基准上进行的广泛实验表明，MNAFT 显著优于最先进 的图像翻译（https://huggingface.co/papers?q=image%20translation）方法，包括级联模型、标准全参数微调和参数高效微调技术。此外，我们提供了全面分析，包括神经元激活和聚类模式的可视化，以深入了解不同神经元组在促进跨模态理解（https://huggingface.co/papers?q=cross-modal%20understanding）和实现准确语言特定翻译中的作用。

查看 arXiv 页面（https://arxiv.org/abs/2604.16943）查看 PDF（https://arxiv.org/pdf/2604.16943）添加到收藏集（https://huggingface.co/login?next=%2Fpapers%2F2604.16943）

在您的 agent 中获取此论文：

hf papers read 2604\.16943

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有链接此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2604.16943 即可链接到本页面。

引用此论文的数据集0

没有链接此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2604.16943 即可链接到本页面。

引用此论文的 Spaces0

没有链接此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2604.16943 即可链接到本页面。

包含此论文的收藏集0

没有包含此论文的收藏集

将本文添加到收藏集（https://huggingface.co/new-collection）即可链接到本页面。