@matthen2: 现代LLM上的深度梦境非常酷（优化图像以最大化目标描述的概率）Gemma 12B（左侧）没有视觉…

X AI KOLs Timeline 新闻
deep-dreams llms vision-encoders gemma-12b e4b image-generation

摘要

展示了通过在图像上优化以最大化目标描述的概率，在现代LLM上产生的深度梦境效果；Gemma 12B（无视觉编码器）在画布上印出可识别的物体，而E4B（有视觉编码器）则漂移为纹理。

现代LLM上的深度梦境非常酷 （优化图像以最大化目标描述的概率） Gemma 12B（左侧）没有视觉编码器——它将像素当作令牌嵌入来读取——并在画布上印出可识别的物体。E4B（右侧）有一个，反而漂移为纹理。https://t.co/99TISX3Vdf
查看原文
查看缓存全文

缓存时间: 2026/07/20 23:34

现代大语言模型上的深度梦境太酷了

（优化图像以最大化目标标题概率）

Gemma 12B（左）没有视觉编码器——它像读取词元嵌入一样读取像素——并在画布上印出可识别的物体。E4B（右）有一个视觉编码器，转向了纹理。https://t.co/99TISX3Vdf

相似文章

Gemma 4 视觉

Reddit r/LocalLLaMA

Gemma 4 的视觉表现受默认 token 预算过低拖累；在 llama.cpp 中将 --image-max-tokens 提到 2240，可解锁顶尖 OCR 与细节识别，代价是额外占用约 14 GB 显存。

Imagine3D-LLM：让多模态大语言模型在回答之前先想象 3D 场景

Hugging Face Daily Papers

Imagine3D-LLM 提出在回答多视角空间推理问题之前，先让多模态大语言模型想象出场景的紧凑 3D 表示（从可学习的摘要 token 解码为 3D 高斯泼溅，并以光度重建损失进行监督），在多个基准测试上超越了以往的 3D 感知 MLLM 方法。