multi-modal

标签

Cards List
#multi-modal

@ai_xiaomu: macbook 16g 就能跑的满血多模态本地模型来了: 1. 下载LM studio; 2. 搜索gemma 4 12B 并下载安装; 3. 告诉codex帮你配置好本地api参数; 4. 接下体验token自由的感觉吧。

X AI KOLs Timeline ↗ · 2026-06-05 缓存

指导用户在MacBook 16GB上通过LM Studio和Codex运行Gemma 4 12B多模态本地模型,实现自由使用token。

0 人收藏 0 人点赞
#multi-modal

@seclink: 冷知识: 目前多模态大模型创业的具体落地方向通常有如下方向,如果都不是你感兴趣的话,还是别赶时髦,乖乖回去学AI coding吧 : 1. 游戏 AI NPC / 智能体中间件(如端云协同的 OmniNPC,赋能 3D 角色交互与情感叙事…

X AI KOLs Timeline ↗ · 2026-06-03 缓存

总结了当前多模态大模型创业的几个主要落地方向,包括游戏AI NPC、企业级多模态Agent、内容生成、具身智能和视觉代码助手等。

0 人收藏 0 人点赞
#multi-modal

M^3Eval:基于认知心理学的视频任务多模态记忆评估

Hugging Face Daily Papers ↗ · 2026-06-03 缓存

M^3Eval是一个全面的评估框架和基准,用于探查多模态模型中的记忆能力,其设计基于认知心理学。实验揭示了在记忆维持、干扰模式和时空定位方面的一致弱点。

0 人收藏 0 人点赞
#multi-modal

通过高维表示学习弥合自然语言与市场动态之间的鸿沟

arXiv cs.LG ↗ · 2026-06-01 缓存

本文探讨了在基于Transformer的架构中,用高维FinBERT嵌入替换标量情感得分,用于短期股价预测,结果表明使用Siamese优化嵌入可提高准确性。

0 人收藏 0 人点赞
#multi-modal

WALL-WM:在事件节点上雕琢世界动作建模

Hugging Face Daily Papers ↗ · 2026-06-01 缓存

WALL-WM 通过使用语义事件作为学习单元而非固定动作块,推进了视频-动作学习,实现了更灵活和可扩展的视觉-语言-动作训练与推理。

0 人收藏 0 人点赞
#multi-modal

原生视听对齐生成

Hugging Face Daily Papers ↗ · 2026-05-28 缓存

NAVA 提出了一种原生视听对齐框架,用于联合音频-视频生成,采用 Align-then-Fuse MMDiT 架构,以 6.3B 参数实现了更好的同步性和可控性。

0 人收藏 0 人点赞
#multi-modal

Slide Deck Q&A 质量保证应用:面向教学问题的多阶段生成流水线

arXiv cs.CL ↗ · 2026-05-27 缓存

本文介绍了 slidesqaqa,这是一个基于 Flask 的软件系统,能从 PDF 幻灯片中生成富有教学价值的问题。该系统采用四阶段大语言模型流水线,依次进行文本和图像提取、全幻灯片范围内的问题规划、幻灯片标注以及输出整合,在技术讲座幻灯片上展示了高保真的问题生成能力。

0 人收藏 0 人点赞
#multi-modal

Unveil: 多模态文档检索的统一视觉-文本融合与蒸馏

arXiv cs.CL ↗ · 2026-05-26 缓存

Unveil提出了一个用于多模态文档检索的统一视觉-文本嵌入框架,通过知识蒸馏将语义理解从视觉-文本模型转移到纯视觉模型,实现鲁棒且高效的检索。

0 人收藏 0 人点赞
#multi-modal

@Phoenixyin13: 字节Seed 的Cola DLM 与MIT何恺明的ELF 几乎同时发布的研究,确实都在尝试打破离散 Token 的枷锁。 事实上,语言本身的离散性是客观存在的,这两篇论文的核心贡献,是把离散到连续的步骤推迟到了最后一刻。 结合我之前提到的…

X AI KOLs Timeline ↗ · 2026-05-23 缓存

讨论字节Seed的Cola DLM与MIT何恺明的ELF两篇论文,它们通过连续扩散范式打破离散Token的限制,实现更优的全局规划和多模态对齐。

0 人收藏 0 人点赞
#multi-modal

UniT:基于分组自回归Transformer的统一几何学习

Hugging Face Daily Papers ↗ · 2026-05-20 缓存

UniT是一种统一的几何感知前馈模型,采用分组自回归Transformer,集成了多种范式(在线/离线、多模态、长时域),同时通过自适应尺度损失和队列式KV缓存保持度量尺度精度。它在涵盖七个任务的十个基准上取得了最先进性能。

0 人收藏 0 人点赞
#multi-modal

如何在预算有限的情况下为AI Agent扩展基础设施?

Reddit r/AI_Agents ↗ · 2026-05-19

讨论了在预算有限的情况下为AI Agent管道扩展基础设施的实际挑战,强调了基于CPU/内存的自动扩展对于GPU推理工作负载的不足。

0 人收藏 0 人点赞
#multi-modal

先素描后绘制:面向扩散多模态大语言模型的层次化强化学习

arXiv cs.AI ↗ · 2026-05-19 缓存

本文提出HT-GRPO,一种面向扩散多模态大语言模型的层次化强化学习方法,它采用先素描后绘制的训练方案和层次化信用分配机制,以提升图像生成质量和奖励对齐效果。

0 人收藏 0 人点赞
#multi-modal

Lemonade 中的 macOS 支持已从 Beta 版毕业!

Reddit r/LocalLLaMA ↗ · 2026-05-16

Lemonade 是一款开源本地 AI 解决方案,其 macOS 支持已从 Beta 版毕业,现在在 macOS 上提供所有主要功能,包括 OmniRouter、编程、图像/语音生成和转录。

0 人收藏 0 人点赞
#multi-modal

The biggest AI breakthrough in medicine & drug discovery

Reddit r/singularity ↗ · 2026-05-14 缓存

MAML is a novel multi-modal AI model that unifies understanding of chemistry, genetics, and proteins, outperforming specialized models on 11 drug discovery benchmarks, promising to accelerate pharmaceutical research and improve success rates.

0 人收藏 0 人点赞
#multi-modal

多模态多智能体推理的分层攻击

arXiv cs.AI ↗ · 2026-05-14 缓存

提出HAM3,一种针对多模态多智能体系统的感知层、通信层和推理层的分层攻击框架,在GQA基准测试中达到高达78.3%的攻击成功率。

0 人收藏 0 人点赞
#multi-modal

Perceptron Mk1 震撼发布高性能视频分析AI模型,比Anthropic、OpenAI和Google便宜80-90%(8分钟阅读)

TLDR AI ↗ · 2026-05-13 缓存

Perceptron公司发布了其旗舰视频分析模型Mk1,声称成本比竞争对手低80-90%,同时在空间和视频推理基准上表现出色。

0 人收藏 0 人点赞
#multi-modal

DataArc-SynData-Toolkit:用于多路径、多模态和多语言数据合成的统一闭环框架

arXiv cs.LG ↗ · 2026-05-12 缓存

本文介绍了 DataArc-SynData-Toolkit,这是一个开源框架,旨在简化多路径、多模态和多语言合成数据的生成。它通过统一的、基于配置的流水线,旨在降低技术门槛并提高在训练大型语言模型过程中的可用性。

0 人收藏 0 人点赞
#multi-modal

ToolCUA:迈向计算机使用代理的 GUI-工具路径编排优化

Hugging Face Daily Papers ↗ · 2026-05-12 缓存

ToolCUA 是一个全新的代理框架,通过分阶段训练和强化学习,优化计算机使用代理的 GUI-工具路径选择。它通过在 GUI 操作和高级工具调用之间进行有效交替,在 OSWorld-MCP 上达到了最先进的性能。

0 人收藏 0 人点赞
#multi-modal

@Radha_AI:中国刚刚推出了一位永不休眠的 AI 员工。它能做研究、写代码、建网站、做幻灯片,还能生成……

X AI KOLs Timeline ↗ · 2026-05-11 缓存

ByteDance 发布 DeerFlow 2.0,这是一个开源 AI Agent 框架,支持在本地执行编程、研究和内容生成等任务,无需依赖云端或订阅服务。

0 人收藏 0 人点赞
#multi-modal

M2Retinexformer: 多模态Retinexformer用于低光照图像增强

Hugging Face Daily Papers ↗ · 2026-05-11 缓存

M2Retinexformer通过交叉注意力和自适应门控机制融合深度、亮度和语义线索,扩展了Retinexformer框架用于低光照图像增强,在多个基准上取得了最先进的结果。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈