@leaf_sanren: 天呐!号称Jev之后的新狠活!!大模型Glimpse!! 据说主打视觉理解与推理, 能最原生理解图片和视频中元素位置和空间关系 众所不周知,GPT和Claude模型无法从底层理解视频 他们只能暴力抽帧理解内容,但是连续性上他们是瞎的。 我…

X AI KOLs Following 模型

摘要

推文介绍了主打视觉理解与推理的新大模型 Glimpse,宣称能原生理解图片和视频中元素的位置与空间关系,不同于 GPT 和 Claude 依赖抽帧的方式,并期待更多实际评测。

天呐😮!号称Jev之后的新狠活!!大模型Glimpse!! 据说主打视觉理解与推理, 能最原生理解图片和视频中元素位置和空间关系 🤔 众所不周知,GPT和Claude模型无法从底层理解视频🤫 他们只能暴力抽帧理解内容,但是连续性上他们是瞎的。 我之前是用 Anti-Gravity 来补足这块能力, 毕竟 Gemini 底层能读懂视频。 但是,在实际使用过程中, 我发现,Gemini 去理解视频并讲出“人话”,非常受提示词和提问方式的影响。 我看到 @Saccc_c 老师很推荐 Glimpse 模型,说帮他完善了《小王子》那个游戏,我被种草了。 我也很期待有机会实际用一下,或者看到更多的评测。 希望能解答一个问题: 对于这种底层拥有理解视频能力的模型, - 我们到底应该给它更多开放性的视觉理解任务? - 还是更有针对性的检验性任务(像一般疑问句一样,让它去验收一个画面、测试打勾这种)? https://x.com/Saccc_c/status/2111148336954888249/video/1…
查看原文
查看缓存全文

缓存时间: 2026/10/19 03:14

天呐😮!号称Jev之后的新狠活!!大模型Glimpse!!

据说主打视觉理解与推理, 能最原生理解图片和视频中元素位置和空间关系 🤔

众所不周知,GPT和Claude模型无法从底层理解视频🤫 他们只能暴力抽帧理解内容,但是连续性上他们是瞎的。

我之前是用 Anti-Gravity 来补足这块能力, 毕竟 Gemini 底层能读懂视频。 但是,在实际使用过程中, 我发现,Gemini 去理解视频并讲出“人话”,非常受提示词和提问方式的影响。

我看到 @Saccc_c 老师很推荐 Glimpse 模型,说帮他完善了《小王子》那个游戏,我被种草了。 我也很期待有机会实际用一下,或者看到更多的评测。

希望能解答一个问题: 对于这种底层拥有理解视频能力的模型,

  • 我们到底应该给它更多开放性的视觉理解任务?
  • 还是更有针对性的检验性任务(像一般疑问句一样,让它去验收一个画面、测试打勾这种)?

https://x.com/Saccc_c/status/2111148336954888249/video/1…

相似文章

@ZhenZhu200: 现在 visual thinking and reasoning 绝对是最火的方向。从之前的 JEV 到 visual JEV 再到 Glance,Google DeepMind 前研究员出来做的 Elorian 公司的最新模型。 以前我…

X AI KOLs Timeline

讨论视觉思考与推理(visual thinking and reasoning)成为热门方向,并认为 Google DeepMind 前研究员创办的 Elorian 公司发布的 Glance/Glimpse 模型有替代传统 CV 的趋势,可与端侧小模型、云端 LLM 协同完成视觉理解与推理。

@FinanceYF5: 大规模视觉推理一直卡在两个问题:模型要么能力不够,要么贵到无法落地。 Elorian 团队刚发布 Glimpse:达到 Astra 级别的视觉推理能力,成本却低了 17 倍。 团队成员包括 Jeff Dean 的前核心下属、Gemini …

X AI KOLs Timeline

Elorian 团队发布视觉推理模型 Glimpse,声称达到 Astra 级别能力但成本低 17 倍,可逐帧分析视频中的物理规律,面向制造业、机器人、游戏和内容审核等场景。