Karpathy的鹈鹕

Hacker News Top 新闻
karpathy opus-5 llm 3d-rendering procedural-generation multimodal ai-capabilities

摘要

Andrej Karpathy使用Opus 5进行实验，给它《指环王》的第一段和100万token的预算，让其创建故事的3D JS渲染，突显了LLM在超定制世界方面的耐力，同时指出了在多模态审计和游戏玩法方面的弱点。

我们正在开始走出那种通过例如“创建一只骑自行车的鹈鹕的svg”来测试LLM的领域。作为将其泛化的一个想法，我很好奇如果我给Opus 5《指环王》的第一段、100万token的预算（约10美元），并要求它对故事进行three.js渲染，它会怎么做。Opus运行了约2小时，写了5500行代码，（程序化地）渲染了故事。虽然有点粗糙，但很有趣。但有点令人难以置信的是，LLM必须将各种多边形资产放置在(x,y,z)坐标中，并编写代码来动画化这一切，而且它居然真的做到了。 我也喜欢这类例子，因为任何一个心智正常的人都不会花时间写这么定制化的东西，但LLM拥有世界上所有的耐力和耐心，所以这是一个从“没人会做这个”到“当然，为什么不呢，几乎免费”的例子。可能还有很多这样的例子。但我很兴奋于创建超定制世界，你可以想象让玩家进入其中，例如在这里作为旁观NPC、或其中一个角色等参与《指环王》的故事。有点像按需生成的、以任意主题为背景的临时GTA。 最后一点是，世界/游戏领域暴露了LLM的一个弱点：它们不容易审计自己的工作，因为它们无法高效、原生地感知视频或在其中玩游戏。在这里，Opus 5不得不非常缓慢且费力地在不同位置截图，而且它出错了几次，产生了一大堆粗糙的瑕疵。这是一个我认为仍然相当欠缺的原始能力（多模态、游戏玩法）的例子。
查看原文
查看缓存全文

缓存时间: 2026/08/03 01:28

我们开始离开那种通过“画一个骑自行车的鹈鹕SVG”来测试LLM的范畴了。作为将其泛化的一个思路，我很好奇如果给Opus 5《指环王》第一段、100万token预算（约10美元）并要求它用Three.js渲染出来，它会怎么做。Opus 5花了大约2个小时，写出了5500行代码，（以程序化方式）渲染了这个故事。效果有点粗糙但挺有趣。不过有点令人难以置信的是，LLM必须把各种多边形资产放置到(x,y,z)坐标中，并编写代码让它们动起来，而且它居然真的能做出点东西来。

我也喜欢这类例子，因为没有任何正常人会花时间写这么定制化的东西，但LLM拥有无穷的精力和耐心，所以这是一个从“没人会这么做”到“好啊，为什么不呢，反正几乎免费”的例子。这类事情可能还有很多。但我真正兴奋的是创造超定制化世界，你可以想象把玩家丢进去——比如在这里作为旁观NPC参与指环王的故事，或者扮演其中一个角色，或者别的什么。类似于按需生成的、转瞬即逝的“GTA of X”。

最后一点思考是：世界/游戏这个领域暴露了LLM的一个弱点：它们很难审计自己的工作，因为它们无法高效、原生地观看视频或在其中玩游戏。在这里，Opus 5不得不非常缓慢而费劲地在不同时间点截屏，而且它搞砸了几次，制造了很多粗糙之处。这是一个原始能力（多模态、游戏玩法）的例子，我认为这方面仍然相当欠缺。

相似文章

Claude 5 Opus 与 3D 月光场景

Reddit r/singularity

一位开发者分享了 Claude 5 Opus 如何从零生成一个详细的 3D 月光场景，编写了超过 944KB 的 JavaScript，并计划将其改造成一款射击游戏。