MNAFT:用于图像翻译的多模态大语言模型模态神经元感知微调
摘要
论文页面 - MNAFT:用于图像翻译的多模态大语言模型模态神经元感知微调 来源:[https://huggingface.co/papers/2604.16943](https://huggingface.co/papers/2604.16943) 发布日期:4月18日 · 提交者 [https://huggingface.co/liboaccn](https://huggingface.co/liboaccn) [](https://huggingface.co/liboaccn) [Bo Li](https://huggingface.co/liboaccn)
查看缓存全文
缓存时间: 2026/04/21 07:20
论文页面 - MNAFT:用于图像翻译的多模态大型语言模型模态神经元感知微调
来源:https://huggingface.co/papers/2604.16943 发布日期:4月18日
·
提交者:https://huggingface.co/liboaccn
(https://huggingface.co/liboaccn)
李波 (https://huggingface.co/liboaccn) 于 4月21日
摘要
模态神经元感知微调(MNAFT)通过有选择性地更新多模态大型语言模型中的特定神经元来增强图像翻译,在保留预训练知识的同时提升跨模态理解能力。
多模态大型语言模型(https://huggingface.co/papers?q=Multimodal%20large%20language%20models)(MLLM)已展现出令人印象深刻的能力,但它们往往难以有效捕捉图像中对于准确图像翻译(https://huggingface.co/papers?q=image%20translation)至关重要的细粒度文本信息。这通常导致视觉文本输入与用于图像翻译(https://huggingface.co/papers?q=image%20translation)的文本输入/输出之间存在模态差距(https://huggingface.co/papers?q=modality%20gap)。现有方法主要依赖于指令微调(https://huggingface.co/papers?q=instruction%20fine-tuning),存在预训练知识参数冗余(https://huggingface.co/papers?q=parameter%20redundancy)的风险,阻碍了泛化性能。为了解决这一问题,我们引入了模态神经元感知微调(https://huggingface.co/papers?q=modality%20neuron-aware%20fine-tuning)(MNAFT),这是一种利用多模态大型语言模型中单个神经元专门角色来增强图像翻译(https://huggingface.co/papers?q=image%20translation)的新方法。MNAFT 通过指令驱动的激活分析(https://huggingface.co/papers?q=instruction-driven%20activation%20analysis),识别视觉和语言模块中的语言无关神经元和语言特定神经元(https://huggingface.co/papers?q=language-specific%20neurons),并评估它们在各种翻译任务中的重要性。然后,我们执行选择性微调(https://huggingface.co/papers?q=selective%20fine-tuning),仅更新与目标任务相关的所选层中语言特定和语言无关神经元(https://huggingface.co/papers?q=language-agnostic%20neurons)的参数,同时保留其他神经元和层中编码的知识。我们在多个基准上进行的广泛实验表明,MNAFT 显著优于最先进 的图像翻译(https://huggingface.co/papers?q=image%20translation)方法,包括级联模型、标准全参数微调和参数高效微调技术。此外,我们提供了全面分析,包括神经元激活和聚类模式的可视化,以深入了解不同神经元组在促进跨模态理解(https://huggingface.co/papers?q=cross-modal%20understanding)和实现准确语言特定翻译中的作用。
查看 arXiv 页面(https://arxiv.org/abs/2604.16943)查看 PDF(https://arxiv.org/pdf/2604.16943)添加到收藏集(https://huggingface.co/login?next=%2Fpapers%2F2604.16943)
在您的 agent 中获取此论文:
hf papers read 2604\.16943
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有链接此论文的模型
在模型的 README.md 中引用 arxiv.org/abs/2604.16943 即可链接到本页面。
引用此论文的数据集0
没有链接此论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2604.16943 即可链接到本页面。
引用此论文的 Spaces0
没有链接此论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2604.16943 即可链接到本页面。
包含此论文的收藏集0
没有包含此论文的收藏集
将本文添加到收藏集(https://huggingface.co/new-collection)即可链接到本页面。
相似文章
NeuPAT:面向语言保持多模态大语言模型的神经元感知可塑性分配调优
NeuPAT 是一个轻量级、架构无关的框架,在多模态指令微调过程中分配神经元级别的更新约束,以保持多模态大语言模型(MLLM)的语言能力,可恢复普通微调所导致的语言退化中的 94.5%。
NeoMME:一个用于高效微调和推理的单塔多模态原生多语言基础编码器
NeoMME 展示了一系列高效的多模态编码器,采用掩码离散扩散进行预训练,在视觉文档检索和高嵌入压缩方面表现优异,同时在基准测试中超越了更小的模型。
任务感知的基于MoE大型语言模型的联邦微调
本文提出了FedTAR,一种针对基于MoE的大型语言模型的任务感知联邦微调方法,该方法通过将本地更新与任务偏好对齐,以在异构数据下保留专家专业化并提高性能。
VFA: 通过无视觉适应增强多模态大语言模型的多语言能力
本文提出无视觉适应(VFA),一种通过融合多语言和视觉对齐的任务向量来增强多模态大语言模型多语言能力的框架,无需视觉数据,并展示了性能提升和数据效率。
人工神经网络中的多模态神经元
OpenAI 在 CLIP 中发现了多模态神经元,它们在不同模态(视觉、符号、文本)中对同一概念做出响应,这与生物神经元的行为相似,解释了该模型在困难视觉任务上的鲁棒性。这项可解释性研究为我们理解视觉-语言模型如何组织和表示抽象概念提供了深刻见解。