multimodal-llm

标签

Cards List
#multimodal-llm

音频大语言模型中多模态语音情感识别的不一致性感知评估

arXiv cs.AI ↗ · 2026-11-02 缓存

该论文提出了一种感知不一致性的评估框架,用于衡量音频大语言模型中文本与声学情感线索之间的分歧。研究在三个语音语料库上发现,跨模态不一致性始终会增加情感识别错误,而监督式分类器则呈现相反的趋势。

0 人收藏 0 人点赞
#multimodal-llm

通过行为衍生的语义维度使多模态大语言模型与人类认知的潜在结构对齐

arXiv cs.CL ↗ · 2026-11-02 缓存

该论文提出了一个框架,通过从行为中推导出的语义维度,将多模态大语言模型(MLLM)与人类相似性判断的认知结构对齐,并借助功能磁共振成像(fMRI)数据的探照灯式表征相似性分析(RSA),验证了表征层面人机对齐程度的提升。

0 人收藏 0 人点赞
#multimodal-llm

AskStream:流式视频理解中何时以及主动询问什么以应对不确定性

Hugging Face Daily Papers ↗ · 2026-10-28 缓存

论文提出 AskStream,首个覆盖视频与用户不确定性的流式视频理解多轮基准,重新定义主动交互为等待、提问、回答三类动作,并指出即使最强模型在 Ask-F1 指标上也仅有 52.18%,凸显主动信息获取的不足。

0 人收藏 0 人点赞
#multimodal-llm

Meta 的可穿戴 AI 交互式仿真环境(GitHub 仓库)

TLDR AI ↗ · 2026-10-28 缓存

Meta 开源了 InteractiveWorld——一个面向可穿戴 AI 助手的交互式仿真环境,配合 InteractiveBench 基准(120 个多轮任务),用于构建和评估能在第一人称视角下观察、沟通并操作 3D 世界的多模态大模型助手。

0 人收藏 0 人点赞
#multimodal-llm

@_akhaliq: InteractiveWorld——一个用于构建更好交互式 MLLM 助手的可验证以人为中心的环境 论文:https://…

X AI KOLs Timeline ↗ · 2026-10-27 缓存

InteractiveWorld 引入了首个可验证的仿真环境以及 InteractiveBench 基准测试,用于评估多模态大语言模型(MLLM)能否可靠地引导人类完成物理任务。研究发现,即使是 Claude Fable 5.1 这样的前沿模型,在长程引导与规划任务上的成功率最高也只有 20-25%。

0 人收藏 0 人点赞
#multimodal-llm

# CodeCap-Bench:代码能否成为优质的视频描述?

Hugging Face Daily Papers ↗ · 2026-10-27 缓存

CodeCap-Bench 提出了一种以可执行代码作为视频字幕的新范式,并构建了一个包含 323 个视频的基准数据集,用于评估多模态大模型生成代码字幕的能力。实验结果表明,在推理与重建任务中,代码字幕的表现优于自然语言字幕;但现有模型在捕捉复杂的时序动态方面仍存在一定不足。

0 人收藏 0 人点赞
#multimodal-llm

DriveMind:面向闭环自动驾驶的心智演进式信念跟踪

arXiv cs.AI ↗ · 2026-10-26

DriveMind 是一个基于多模态大模型的自动驾驶框架,借鉴粒子滤波思想维护并更新多个场景假设,在 Bench2Drive 上将驾驶分数从 68.50 提升至 81.37,在无信号交叉口等歧义场景中提升尤为显著。

0 人收藏 0 人点赞
#multimodal-llm

InteractiveWorld:一个可验证的以人为中心的环境,用于构建更出色的交互式多模态大语言模型助手

Papers with Code Trending ↗ · 2026-10-25 缓存

InteractiveWorld 提出了首个用于人机闭环交互的可验证模拟环境,并配套发布 InteractiveBench 基准(含六大类 120 个多轮任务),用于评估 MLLM 引导人类完成物理任务的能力;实验显示 12 个前沿 MLLM 仍远未可靠,最强模型在长程任务上得分仅约 20-25%。

0 人收藏 0 人点赞
#multimodal-llm

空间中的人类:多模态大语言模型能否通过主动的外部视角探索构建以人为中心的空间理解?

Hugging Face Daily Papers ↗ · 2026-10-25 缓存

论文提出SATE-Bench交互式基准,包含316个真实场景与2525个多轮问答对,用于评估多模态大模型的视觉自我感知与主动全景视角探索能力。结果显示,最先进的多模态大模型往往在证据不足时过早停止探索且自信度过高,而GRPO微调虽提升探索行为,却因过度探索和多视角融合失败而降低整体准确率。

0 人收藏 0 人点赞
#multimodal-llm

AV-FABLE:长视频中的音视频篡改取证

Hugging Face Daily Papers ↗ · 2026-10-24 缓存

AV-FABLE 提出了一个面向长视频中稀疏篡改检测的音视频基准,表明冻结的 AV-LLM 感知特征包含取证信号,这些信号通过独立的时序解码器(NFSR)比通过语言输出能更好地被提取。

0 人收藏 0 人点赞
#multimodal-llm

更全面地审视 MLLM 的检索头

Hugging Face Daily Papers ↗ · 2026-10-23 缓存

该论文研究多模态大模型(MLLM)中的稀疏检索头在新增音频-视觉模态下的分布与共享机制,并通过排序目标优化这些注意力头,将 Qwen3-VL-8B 在 MMDocIR 上的页面 Recall@1 提升 6.03 个点。

0 人收藏 0 人点赞
#multimodal-llm

OSynth:一项纵向、上下文敏感的会议理解评估

arXiv cs.CL ↗ · 2026-10-22 缓存

Otter.ai 的研究人员推出了 OSynth,这是一个总时长达 570 小时、包含潜在真实状态的大规模合成会议数据集。研究表明,当获得更广泛的工作区上下文时,最先进的多模态大语言模型(MLLM)在对实体敏感的维度上表现显著提升。人工评估者区分 OSynth 会议与真实会议转录文本的准确率仅为 56%。

0 人收藏 0 人点赞
#multimodal-llm

EDMA:熵驱动的多模态问答

arXiv cs.AI ↗ · 2026-10-21 缓存

EDMA提出了一种基于逻辑熵的多模态问答方法,将答题过程形式化为熵减迭代,并量化各模态对答案的贡献,在多个MMQA基准上显著优于Chain-of-Thought等基线。

0 人收藏 0 人点赞
#multimodal-llm

CausGround:面向自适应具身规划的因果交互 grounding

Hugging Face Daily Papers ↗ · 2026-10-21 缓存

CausGround 提出一种非参数化的因果交互锚定框架,从交互经验中提炼可复用的动作前置条件与效果,无需重训模型即可提升多模态大语言模型在 VirtualHome、RoboCasa 等基准上的具身规划成功率(如从 24.9% 提升至 53.3%)。

0 人收藏 0 人点赞
#multimodal-llm

看似合理的解释足以误导多模态评判模型

arXiv cs.CL ↗ · 2026-10-19 缓存

该论文提出了一个名为JUPE的视觉问答基准,发现普通的看似合理的解释就足以误导14个多模态大模型评判者,使错误答案的拒绝率下降约12.7-13.8个百分点,研究者将此现象称为“plausibility capture”。

0 人收藏 0 人点赞
#multimodal-llm

面向卡通电影社会与情感理解的脑对齐多模态大语言模型

arXiv cs.AI ↗ · 2026-10-19 缓存

该论文比较了扩散式与自回归多模态大语言模型生成的标注与人类在观看卡通短片时的Theory of Mind和情感效价评分的时间一致性,并检验其对fMRI脑反应的预测能力,发现MLLM标注可作为脑预测性社会情感内容标注的可扩展工具,但与人类评分存在系统性差异且对齐效果因模型和影片而异。

0 人收藏 0 人点赞
#multimodal-llm

ECHOES:通过递归历史压缩与特权在线蒸馏洞察当前图像之外

arXiv cs.AI ↗ · 2026-10-19 缓存

ECHOES 提出一种通过递归历史压缩与特权在线蒸馏来增强长时程 GUI 智能体状态保持能力的方法,无需在部署时保留历史截图即可取得有竞争力的性能,并发布了细粒度诊断基准 ECHOESBMK。

0 人收藏 0 人点赞
#multimodal-llm

HumanSkill-4D:面向可动画高斯人体头像时空语言查询的免训练框架

Hugging Face Daily Papers ↗ · 2026-10-17 缓存

HumanSkill-4D 提出一个免训练框架,通过在多个头像之间共享多模态大语言模型与几何算子,实现对可动画高斯人体头像在空间与时间维度上的语言查询,支持部件分割与 3D/4D 指代分割,并引入三个人工标注基准,在多个任务上超越现有基线。

0 人收藏 0 人点赞
#multimodal-llm

Xiaomi-Lens-0 技术报告

Hugging Face Daily Papers ↗ · 2026-10-16 缓存

Xiaomi-Lens-0 是一个基于 Qwen3.5 构建的 4B 多模态模型,它从内部视觉表征中预测掩码,以提升细粒度区域推理能力,在 RefCOCO 系列指代理解基准上平均比 Qwen3.5 高出 5.6 分。

0 人收藏 0 人点赞
#multimodal-llm

解耦多模态大语言模型机器遗忘中的知识遗忘与拒绝学习

arXiv cs.AI ↗ · 2026-10-15 缓存

该论文提出 Forget-Aware Self-Distillation (FASD) 方法,将多模态大模型遗忘解耦为行为通道与知识通道,以实现「诚实无知」——既真正擦除目标知识,又让模型能承认自身知识边界,避免幻觉与信息泄露。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈