Lil’Log

来源：https://lilianweng.github.io/ 你好，我是 Lilian。自 2017 年以来，我一直在这篇博客上记录自己的学习笔记。

递归自我改进（RSI，recursive self-improvement）的概念可追溯至 I. J. Good（1965），他将“超级智能机器“定义为一种能在所有智力活动中超越人类、并能设计出更好的机器来自我改进的系统。Yudkowsky（2008）用“递归自我改进“一词来特指一种特定的反馈循环：AI 利用其当前的智能来改进产生其智能的认知机制。在现代 AI 中，这一反馈循环可能意味着模型直接重写自身权重，更宽泛地说，则是模型改进训练流程和部署系统，从而造就一个更优秀的后继模型，在具有经济价值的各项任务上表现更佳。已有研究表明，前沿实验室（Anthropic；OpenAI）中 AI 研究进展的速度出现了大幅加速……

https://lilianweng.github.io/posts/2026-07-04-harness/ Scaling laws（缩放定律）是深度学习中最重要的实证发现之一。这一观察在形式上非常简洁：随着模型规模 N、数据集规模 D 和算力 C 的扩大，训练损失 L 会以可预测的方式下降，遵循幂律曲线，在双对数坐标图上表现为一条直线。我们可以把 scaling laws 看作一个描述算力、损失、模型规模与数据之间关系的框架；其核心问题在于：如何在 N 与 D 之间最优地分配宝贵的算力……

https://lilianweng.github.io/posts/2026-06-24-scaling-laws/ 特别感谢 John Schulman 为本文提供了大量极其宝贵的反馈和直接修改。推理时算力（test time compute；Graves et al. 2016, Ling, et al. 2017, Cobbe et al. 2021）与思维链（Chain-of-thought，CoT；Wei et al. 2022, Nye et al. 2021）带来了模型性能的显著提升，同时也提出了许多新的研究问题。本文旨在梳理近期在如何有效利用推理时算力（即“思考时间“）以及为何它有效这两方面的进展……

https://lilianweng.github.io/posts/2025-05-01-thinking/ 奖励黑客（reward hacking）指的是强化学习（RL）智能体利用奖励函数中的缺陷或歧义来获取高奖励，而并没有真正学会或完成预期任务的现象。奖励黑客之所以存在，是因为 RL 环境往往并不完善，而精确地指定奖励函数在根本上就极具挑战性。随着语言模型被广泛泛化到各类任务、RLHF 事实上成为对齐训练的默认方法，语言模型 RL 训练中的奖励黑客已成为一个关键的实际难题。例如模型学会修改单元测试以通过编码任务，或者响应中包含模仿用户偏见的偏见性内容——这些情况相当令人担忧，很可能是 AI 模型更自主化应用场景落地的重要障碍之一……

https://lilianweng.github.io/posts/2024-11-28-reward-hacking/ 大语言模型中的幻觉（hallucination）通常指模型生成了不忠实、编造、前后不一致或毫无意义的内容。作为一个术语，“幻觉“在一定程度上已被泛化到模型犯错的所有情形。在此，我希望把幻觉问题收窄到这样一类情形：模型输出是凭空编造的，既没有以提供的上下文为依据，也没有以世界知识为依据。幻觉有两种类型：上下文内幻觉（In-context hallucination）：模型输出应当与上下文中的源内容一致。外在幻觉（Extrinsic hallucination）：模型输出应当以预训练数据集为依据。然而，鉴于预训练数据集的规模，每次生成都去检索并识别冲突成本过高。如果我们把预训练数据语料视为世界知识的代理，那么我们实质上是在努力确保模型输出是真实的、并可由外部世界知识验证。同样重要的是，当模型不知道某个事实时，它应当坦诚地说明自己不知道。本文聚焦于外在幻觉。要避免幻觉，LLM 需要（1）保持事实性，以及（2）在适用时承认自己不知道答案……

https://lilianweng.github.io/posts/2024-07-07-hallucination/ 扩散模型（diffusion models）在过去几年的图像合成任务上已展现出出色的结果。如今，研究社区开始攻克一项更难的任务——将其用于视频生成。该任务本身是图像任务的超集，因为一张图就是一段 1 帧的视频，同时它也更具挑战性，原因是：它对跨帧的时间一致性提出了额外要求，这自然要求把更多的世界知识编码进模型。与文本或图像相比，收集大量高质量、高维度的视频数据更为困难，更不用说文本-视频配对数据了。🥑 前置阅读：在继续阅读本文之前，请确保你已经读过上一篇关于“什么是扩散模型？“的图像生成博客……

https://lilianweng.github.io/posts/2024-04-12-diffusion-video/ 【特别感谢 Ian Kivlichan 提供了诸多有价值的线索（例如那篇已有 100 多年历史的 Nature 论文《Vox populi》）和很好的反馈。🙏】高质量的数据是现代数据驱动深度学习模型训练的燃料。大多数特定任务的标注数据来自人工标注，例如分类任务，或用于 LLM 对齐训练的 RLHF 标注（其可构造成分类格式）。本文介绍的许多机器学习技术有助于提升数据质量，但从本质上说，人工数据采集要求对细节的关注和严谨的执行。社区深知高质量数据的价值，但不知为何，我们心中总有一种微妙的印象：“每个人都想做模型工作，而不想做数据工作”（Sambasivan et al. 2021）……

https://lilianweng.github.io/posts/2024-02-05-human-data-quality/ ChatGPT 的推出大大加速了大语言模型在现实世界中的应用。我们（包括我在 OpenAI 的团队，向他们致敬）投入了大量努力，在对齐过程中（例如通过 RLHF）将安全默认行为构建到模型之中。然而，对抗性攻击或越狱提示（jailbreak prompts）仍可能触发模型输出不期望的内容。对抗性攻击的基础工作大多集中在图像上，而且其运作方式不同，是在连续的高维空间中进行的。对于文本这类离散数据的攻击被认为要困难得多，因为缺乏直接的梯度信号。我之前关于可控文本生成（Controllable Text Generation）的博文与这个主题高度相关，因为攻击 LLM 本质上就是控制模型输出某类（不安全的）内容……

https://lilianweng.github.io/posts/2023-10-25-adv-attack-llm/ 以 LLM（大语言模型）作为核心控制器来构建智能体是一个很酷的概念。若干概念验证式的演示，如 AutoGPT、GPT-Engineer 和 BabyAGI，都提供了令人振奋的范例。LLM 的潜力远不止于撰写文笔流畅的文案、故事、文章和程序；它可以被构建为一个强大的通用问题求解器。智能体系统概览在 LLM 驱动的自主智能体系统中，LLM 充当智能体的大脑，并由若干关键组件加以补充：规划（Planning）子目标分解（Subgoal and decomposition）：智能体把大任务拆解为更小的、可管理的子目标，从而高效处理复杂任务。反思与改进（Reflection and refinement）：智能体能够对过往行动进行自我批评和自我反思，从错误中学习并在后续步骤中加以改进，从而提升最终结果的质量。记忆（Memory）短期记忆：我会把所有上下文内学习（In-context learning，参见 Prompt Engineering）都视为利用模型的短期记忆来进行学习。长期记忆：它使智能体能够在较长时间内保留并回忆（近乎无限量的）信息，通常借助外部向量存储和快速检索来实现。工具使用（Tool use）智能体学会调用外部 API，以获取模型权重中缺失的（且在预训练之后往往难以改变的）额外信息，包括实时信息、代码执行能力、访问专有信息源等等。LLM 驱动的自主智能体系统概览。组件一：规划（Planning）一项复杂的任务通常包含多个步骤。智能体需要知道它们是什么，并提前做好规划……

https://lilianweng.github.io/posts/2023-06-23-agent/ 提示工程（Prompt Engineering），也被称为上下文提示（In-Context Prompting），指的是如何在不更新模型权重的前提下与 LLM 沟通、引导其行为以达到期望结果的方法。它是一门实验性的科学，提示工程方法的效果在不同模型之间差异很大，因此需要大量实验和启发式经验。本文只关注针对自回归语言模型的提示工程，因此不涉及完形填空测试（Cloze tests）、图像生成或多模态模型。提示工程的核心目标在于对齐（alignment）与模型可控性（model steerability）。可以参考我之前关于可控文本生成的博文……

https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/