multimodal-llm

标签

Cards List
#multimodal-llm

SUPRA-TEX:具有超对齐纹理的3D生成

Hugging Face Daily Papers ↗ · 2026-10-15 缓存

SUPRA-Tex 提出通过解耦可见材质估计、表面对齐与观测引导的3D补全来生成可重光照的3D材质,在单图3D生成中实现可见区域的高保真还原与未观测表面的连贯补全,在纹理化和端到端资产生成任务上达到最先进水平。

0 人收藏 0 人点赞
#multimodal-llm

BlenderWorld:面向真实世界参考的 3D 创作视觉智能体基准

Hugging Face Daily Papers ↗ · 2026-10-14 缓存

BlenderWorld 是首个专注于真实世界 3D 创作任务的综合基准,包含 223 个任务,通过渲染输出和 2,651 条二元评分标准评估前沿多模态模型,结果显示 GPT-6-Astra 以 79.9 分领先,但所有模型在细粒度 3D 空间一致性方面仍存在显著不足。

0 人收藏 0 人点赞
#multimodal-llm

重新思考多模态大模型中的投影器训练

Hugging Face Daily Papers ↗ · 2026-10-13 缓存

该论文提出 PORTAL,一种无需配对图像-文本数据、基于最优传输的多模态投影器初始化方法,可以完全跳过投影器训练阶段,在六个 LLM 主干和 16 个基准上匹敌使用 558k 图文对的标准训练流程。

0 人收藏 0 人点赞
#multimodal-llm

VideoJev:面向视频理解与交互的 System One 模型

Hugging Face Daily Papers ↗ · 2026-10-13 缓存

VideoJev 提出了基于 System One 范式的视频理解与交互模型家族,通过共享打分头替代自回归解码,统一时序定位与视频问答,并利用缓存推理和联合推理大幅提升效率。VideoJev-4B 和 VideoJev-35B-A3B 在时序定位基准上显著超越骨干模型,视频问答推理加速超过 100 倍。

0 人收藏 0 人点赞
#multimodal-llm

注意空间差距:地理空间推理与受约束空间编辑的基准

arXiv cs.AI ↗ · 2026-10-12 缓存

该论文提出了 GeoSpatialBench,一个评估多模态大模型从空间关系理解、几何推理到受约束空间编辑能力的基准,基于六个真实城市数据发现模型在定量空间关系和空间编辑任务上存在明显不足。

0 人收藏 0 人点赞
#multimodal-llm

EventLens:面向视频理解的事件结构强化学习

Hugging Face Daily Papers ↗ · 2026-10-12 缓存

EventLens 提出一种以视觉为中心的强化学习框架,通过事件结构恢复(事件分割、进程判别、多事件关系推理)来训练多模态大模型,实现可验证奖励的 GRPO 训练与多教师在线策略蒸馏,在 Qwen3-VL 上提升时序理解且降低训练成本。

0 人收藏 0 人点赞
#multimodal-llm

X-Ragent:面向证据驱动胸片推理的工具增强强化学习

Hugging Face Daily Papers ↗ · 2026-10-12 缓存

X-Ragent 是一个面向胸片(CXR)证据驱动推理的后训练框架,通过工具增强强化学习解耦辅助证据获取与有效性门控的量化测量;在 Chest AgentBench 等三个基准上取得最佳结果,其中完全未见基准提升 8.6 分。

0 人收藏 0 人点赞
#multimodal-llm

S-Space:探索多模态语言模型中的空间工作区

Hugging Face Daily Papers ↗ · 2026-10-09 缓存

本文提出S-Space,一种多模态大模型中编码物体连续坐标的线性表征子空间,揭示其作为内部空间工作区在感知编码、视角变换与语言回答中的作用,并诊断出MLLM在视角变化空间变换上的关键瓶颈。

0 人收藏 0 人点赞
#multimodal-llm

真实社交场景中从诱因到结果的认知导向情感追踪

arXiv cs.AI ↗ · 2026-10-09 缓存

本文提出 TRACE 框架,将情感过程形式化为 Condition-Affect-Effect 三阶段,并发布 TRACE-Bench 基准(646 个视频、3,746 个问答对),评估多模态大模型在真实社交场景中的情感理解能力。同时提出基于认知的结构化推理方法 TRACER,在五项任务上超越所有基线模型。

0 人收藏 0 人点赞
#multimodal-llm

UniData:通用多模态指令生成流水线

arXiv cs.AI ↗ · 2026-10-09 缓存

UniData 提出一个通用多模态指令生成流水线,将简单用户需求扩展为多轮多模态指令,并构建了涵盖九种模态的 20,000 条 UniDataset,以提升多模态大模型的数据质量与能力。

0 人收藏 0 人点赞
#multimodal-llm

2024年的 BABA is AI 论文后来怎么样了?[D]

Reddit r/MachineLearning ↗ · 2026-10-08

讨论2024年ICML论文《BABA is AI》,该论文发现以GPT-4o和Gemini-1.5为代表的最先进多模态大语言模型在Baba Is You游戏中的规则操控谜题上表现严重不佳,由此引发一个问题:随着模型能力不断提升,该基准测试的意义是否反而变得更加重要。

0 人收藏 0 人点赞
#multimodal-llm

WOVEN:将视觉世界建模编织进多模态大语言模型

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

WOVEN 提出了一个面向视觉转移推理的训练数据源与基准,涵盖 20 种场景、5 种动作和 8 种推理类型共 36,076 个样本,并对 38 个前沿多模态大模型进行了评测。研究发现训练后的能力可广泛迁移到 26 个外部基准中的 22 个,最高提升 27.3 个百分点,并总结出一套可复用的视觉世界建模训练配方。

0 人收藏 0 人点赞
#multimodal-llm

DataVista:诊断多模态大语言模型对数据视频的理解能力

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

DataVista 是首个针对数据视频(datavideo)理解的基准测试,包含 961 个真实数据视频和 6,775 道评估题,采用三级能力框架(数据感知、时序推理、叙事理解)。对 19 个主流多模态大模型的评测显示,最佳模型 Gemini-3.1-Pro 仅有 70.0% 准确率,远低于人类专家水平。

0 人收藏 0 人点赞
#multimodal-llm

SuperNav:适用于任意任务与场景的智能体导航系统

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

SuperNav 是一个导航框架,它为预训练多模态大语言模型配备智能体框架与导航工具——无需针对导航任务进行微调——使模型能够理解指令并指定视觉目标点,同时将运动执行委托给导航工具。该框架在实例级、多物体及需求驱动任务上超越了四种基线方法,并在真实四足机器人上进行了演示。

0 人收藏 0 人点赞
#multimodal-llm

SpatialOPSD:从已验证的编码智能体轨迹中自蒸馏空间智能

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

SpatialOPSD 提出了一种非策略自蒸馏框架,将空间编码智能体的已验证执行轨迹作为特权信息蒸馏进多模态大模型,通过重复感知蒸馏(重复掩码 + 不似然正则化)缓解信息泄漏,实现无工具的空间推理,并在空间及 OOD 基准上超越 SFT 和 GRPO。

0 人收藏 0 人点赞
#multimodal-llm

VisionWeave:将弹性视觉表征编织为多模态大语言模型的原生能力

Hugging Face Daily Papers ↗ · 2026-10-06 缓存

VisionWeave 引入了弹性视觉表征编织能力,作为多模态大语言模型(MLLM)的原生特性。该方法结合了门控空间池化器(Gated Spatial Pooler)与粒度路由器(Granularity Router),能够自适应地分配视觉 token。基于 Qwen3.8-27B 构建,VisionWeave 在保留 98.9% 性能的同时节省了 43.0% 的 token,并在 SGLang 推理服务中实现了 2.3 倍的吞吐量提升。

0 人收藏 0 人点赞
#multimodal-llm

面向能力保留的 Slow-Fast 多教师在线蒸馏

arXiv cs.LG ↗ · 2026-10-05 缓存

提出了一种 Slow-Fast 多教师在线蒸馏方法(SF-MOPD),通过将直接更新学生的 fast 模型与学生参数的 EMA slow 模型相耦合,在吸收领域专家知识的同时抑制能力干扰,从而更好地保留多模态基础大模型的通用能力。

0 人收藏 0 人点赞
#multimodal-llm

THPL:面向循环水养殖系统(RAS)虹鳟投喂管理的视觉到语言决策支持框架

arXiv cs.AI ↗ · 2026-10-05 缓存

THPL:面向循环水养殖系统(RAS)中虹鳟投喂管理的视觉到语言决策支持框架,通过鱼类轨迹提取行为系数、层级行为编码器生成双证据令牌,并结合LoRA微调与反事实多模态DPO提升LLM的因果推理与决策准确率。

0 人收藏 0 人点赞
#multimodal-llm

VepAgent:通过工具增强强化学习衔接因果转移以实现视频事件预测

Hugging Face Daily Papers ↗ · 2026-10-05

该论文提出 VepAgent,一个将因果转移推理与工具增强强化学习结合的智能体框架,用于视频事件预测,并构建了 futurebench-4K 思维链数据集,在 FutureBench 和 NEPBench 上达到 SOTA 性能。

0 人收藏 0 人点赞
#multimodal-llm

MM-FinEval:面向真实世界金融预测的多任务多模态基准

arXiv cs.LG ↗ · 2026-10-02 缓存

论文提出 MM-FinEval,一个针对真实世界金融预测的多任务多模态基准,涵盖2019-2022年S&P 500公司的2,045次财报电话会议,包含文本转录、演示幻灯片和音频三种模态,并设有12项金融任务标签,用于评估19个多模态基线模型。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈