multi-modal

标签

Cards List
#multi-modal

用 JEPA 证明并改进柏拉图表征假说

Hugging Face Daily Papers ↗ · 2026-10-29 缓存

论文将柏拉图表征假说转化为定理,证明在多种模态上分别训练的 JEPA 会收敛到共享表征(至多相差一次旋转),并指出下一个词预测本质上是使用"劣质视图"的 JEPA——这使其在跨模态对齐上效率远低得多(优质视图所需样本少 42 倍)。

0 人收藏 0 人点赞
#multi-modal

重新思考城市表征学习中的多视图融合

arXiv cs.LG ↗ · 2026-10-27 缓存

该论文提出了 PRISM,这是一种自适应框架,通过调整稀疏混合专家(MoE)路由来实现区域特定的多视图融合,并采用受 PID 启发的调节机制来缓解城市区域表征学习中的梯度冲突,在三个大规模城市数据集上的表现优于强基线方法。

0 人收藏 0 人点赞
#multi-modal

MOSAIC:面向对话智能体长期记忆与跨模态推理的全模态基准

arXiv cs.CL ↗ · 2026-10-22 缓存

该论文介绍了 MOSAIC,这是一个全模态基准,包含 923 个问题,基于以人物设定为基础、涵盖文本、图像、视频和音频的多会话历史记录,旨在诊断对话智能体在写入、检索、交付和读取各阶段中何处丢失了证据,而非仅仅给出一个排行榜分数。

0 人收藏 0 人点赞
#multi-modal

设计万物,规模化设计

Hugging Face Daily Papers ↗ · 2026-10-17

论文提出 Design Anything,一个基于图的 harness,通过 intent-execution graph 在长程任务中保持设计意图,并发布涵盖19个设计领域、228项任务的 DesignAnything-Bench,显著提升了约束满足率。

0 人收藏 0 人点赞
#multi-modal

Granite Switch 4.1:一个端点实现聊天、决策与语音能力

Hugging Face Blog ↗ · 2026-10-15 缓存

IBM 推出 Granite Switch 4.1(8B 与 30B),通过 aLoRA 适配器在同一端点上组合聊天、决策与语音转写能力,几乎不额外占用 VRAM。新增 Decision 与 Guardian aLoRA,并嵌入 OpenASR 榜单最快的 Granite-Speech-5.0-Turbo-CTC 模型。

0 人收藏 0 人点赞
#multi-modal

MEA:一个奖励驱动的多智能体系统,用于忠实的模型解释

arXiv cs.AI ↗ · 2026-10-05 缓存

MEA 是一个奖励驱动的多智能体框架:其中 Proposer 智能体负责选择解释工具,Actor 智能体则端到端地针对基于扰动的忠实性奖励进行训练,能够在表格、文本和视觉等多种模态上生成忠实的自然语言解释,并将性能提升至比现有解释方法高出最多 34% 的水平。

0 人收藏 0 人点赞
#multi-modal

新的 system 1.5 模型在所有 4 个基线上都大幅超越 JEV,并且在图像 JEV 基准测试中排名第一(没错,它是多模态的)

Reddit r/artificial ↗ · 2026-10-01

新款模型 Wity-1 是一个推理决策模型,定位介于 Jev 这类非推理决策模型与完全推理的 LLM 之间。据称它在全部 4 项基准测试中击败了 Jev,并在 Image Jev Bench 上排名第一,同时支持多模态。它只进行"刚刚好"的推理——直到内部 LLM 概率表明答案已经得出。

0 人收藏 0 人点赞
#multi-modal

ImaJev-4b:我花15天微调了一个4B模型,用于从文本和照片中做出商业决策,它刚刚在JevBench上排名第一,并在DecisionBench上领先于GPT-5.6 Luna

Reddit r/LocalLLaMA ↗ · 2026-09-28

一位商业顾问微调了一个名为ImaJev-4b的4B参数AI模型,用于从文本和图像中做出决策,在JevBench和DecisionBench基准测试中取得了顶尖表现。

0 人收藏 0 人点赞
#multi-modal

学习如何回忆:世界模型的自适应多线索情景记忆

Hugging Face Daily Papers ↗ · 2026-09-28 缓存

论文提出了 Future-Aware Recall(FAR)框架,通过未来感知的预测性监督和自适应多线索打分,使世界模型学会情景记忆的召回机制,并自动决定哪些检索线索(时间、姿态、视觉、音频)值得信赖。

0 人收藏 0 人点赞
#multi-modal

超越Jev:更快、更准、多模态能力提升 [P]

Reddit r/MachineLearning ↗ · 2026-09-27

Intern-Decision 多模态模型家族(0.8B、2B、4B)已发布,其中4B模型在决策任务中超越Jev 1.13.0,支持快速本地部署,并在概率问题上改进了校准。

0 人收藏 0 人点赞
#multi-modal

PhysioBench:生理信号问答的统一基准

arXiv cs.CL ↗ · 2026-09-21 缓存

PhysioBench引入了一个统一的生理信号问答基准,整合22个数据集成6140万道问题,涵盖30项任务,以评估各种AI模型的性能。

0 人收藏 0 人点赞
#multi-modal

Ovis-Embedding:推动通用全模态嵌入的前沿

Hugging Face Daily Papers ↗ · 2026-09-21 缓存

本文介绍了Ovis-Embedding,一种最先进的全模态嵌入模型,它使用共享骨干网络将文本、图像、视频和音频编码到公共表示空间中,在MMEB-v3和MVEB等基准测试上取得了顶级性能。

0 人收藏 0 人点赞
#multi-modal

在令牌级别引导LLM与智能体:一个支持令牌可视化控制、模型检查及数据标注的交互工具。

Reddit r/LocalLLaMA ↗ · 2026-09-19

onPanda是一个交互式工具,专注于LLM与智能体的令牌级可视化与控制,提供数据标注、模型检查,并支持多模态操作,包括在浏览器中执行。

0 人收藏 0 人点赞
#multi-modal

UFO:多模态图像生成中全条件对齐的链式评估

Hugging Face Daily Papers ↗ · 2026-09-17 缓存

UFO 是一个统一框架,用于多模态图像生成中全条件对齐的同时评估。它引入了原子化链式评估范式和 UFO-Bench 基准测试。

0 人收藏 0 人点赞
#multi-modal

AlexWortega/openjev

Hugging Face Models Trending ↗ · 2026-09-16 缓存

openjev 是一个基于 Qwen3.5 的模型,为蕴含任务而训练,使其能够在重排序、评分和实时游戏等应用中使用,v2 版本增加了多模态能力和改进的零样本性能。

0 人收藏 0 人点赞
#multi-modal

MiniMax-H3 能否推理物理世界?全模态生成模型评估

Hugging Face Daily Papers ↗ · 2026-09-16 缓存

本文通过引入一个综合框架来评估 MiniMax-H3——一种全模态生成模型——在通过多模态输入推理物理世界方面的能力。评估显示,基于视频的决策推理表现最佳,而基于音频的歧义推理则最弱。

0 人收藏 0 人点赞
#multi-modal

@svpino: 我一直在使用 ElevenLabs 处理音频。现在,他们添加了图像功能。现在大家都支持所有功能。AI 正在模糊界限。

X AI KOLs Following ↗ · 2026-09-14 缓存

ElevenLabs 已在其 MCP 平台上添加了图像和视频生成功能,超越音频,支持多模态内容创作。

0 人收藏 0 人点赞
#multi-modal

跨模态上下文学习的趋同涌现

Hugging Face Daily Papers ↗ · 2026-09-12 缓存

本文提出了 Convergent Emergence Hypothesis,指出少样本上下文学习在跨模态难度剖面上具有共同性,并通过六种模态的实验提供实证支持,显示其中五种模态存在相关性效应。

0 人收藏 0 人点赞
#multi-modal

全交互智能体技术报告

Hugging Face Daily Papers ↗ · 2026-09-08 缓存

本文提出Gander,一个用于全交互和智能体任务的端到端框架,通过Cerebellum-Brain架构实现跨多种模态的实时全双工交互。

0 人收藏 0 人点赞
#multi-modal

SimpleDesign:一种用于蛋白质序列与结构协同设计的联合模型

arXiv cs.LG ↗ · 2026-09-04 缓存

SimpleDesign 引入了一种用于蛋白质序列与结构协同设计的联合模型,该模型在数据空间中使用单阶段目标进行端到端训练,在协同设计和生成基准测试中取得了具有竞争力的性能。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈