@karpathy:超酷的评测。只需向 LLM 提问“陆地还是水域?”,并以文本形式给出经纬度坐标。提问 16,200 次……
摘要
Andrej Karpathy 分享了一个简单的评测:向 LLM 提问“陆地还是水域?”,以经纬度坐标为输入,重复提问 16,200 次;模型表现良好,表明它们仅凭压缩互联网数据就能内化世界知识。
超酷的评测。只需向 LLM 提问“陆地还是水域?”,并以文本形式给出一个经纬度坐标。提问 16,200 次,然后绘制成图片。模型是知道答案的。仅凭压缩互联网得到的知识。
相似文章
@karpathy: 顺便说一下,这个方法效果非常好。在查询的最后,让你的大语言模型“将回复组织为HTML格式”,然后查看生成的…
Andrej Karpathy 建议通过提示词引导大语言模型将回复组织为 HTML,以实现更好的可视化效果,并预测 AI 的输出将从文本演变为交互式神经视频。
@akshay_pachaar: Andrej Karpathy 将LLM训练的整个历史总结为三个名词:- 文本 - 对话 - 及环境…
Andrej Karpathy将LLM训练概括为文本、对话和环境;Prime Intellect的Verifiers是一个开源框架,用于构建和共享LLM的强化学习环境,采用MIT许可证发布,附带一个包含2500多个环境的中枢。
@karpathy:我们正开始离开那种用例如“创建一只骑自行车的鹈鹕的SVG”来测试LLM的领域。作为一个…
安德烈·卡帕西分享了一个实验:Claude Opus 5 使用 100 万 token 的预算,在 three.js 中程序化地渲染《指环王》,引发了对 LLM 测试、自定义世界生成和多模态弱点的思考。
LLMs知道自己何时出错。我对Anthropic的新“全局工作空间”论文进行了一项修复 [R]
作者提出了一种方法,通过使用中间层状态的线性探测器和一个小型训练桥接器将置信度对数进行校准,使LLMs能够表达校准后的置信度,仅需200个标注样本,无需修改权重。这与Anthropic的全局工作空间论文相关,该论文解释了“知道-说出”差距。
像对我五岁小孩一样解释或任意难度:评估语言模型响应的交互潜力
本文提出一个框架,用于评估LLM在科学查询中生成不同语言复杂度的多个响应的能力。研究发现,模型常常不一致地变化复杂度,表现最好的Claude Sonnet 4.5仅能在46%的情况下正确调整复杂度。