@GergelyOrosz：了解LLM上下文的工作原理以及如何规避上下文限制——即“上下文工程”——正变得越来越重要……

X AI KOLs Timeline 新闻
llm context-engineering podcast ai-education engineering-practices

摘要

Gergely Orosz 发推文推荐了一期与 Dex Horthy 关于 LLM 上下文工程的播客，其中涵盖了几个教训，例如交付未经审核的代码的危险，以及如何识别 LLM 会话已被“轨迹污染”。

了解 LLM 上下文的工作原理以及如何规避上下文限制——即“上下文工程”——正变得越来越重要。讲解这方面知识，没有比 @dexhorthy 更合适的人了。 时间戳： 00:00 开场 01:33 Dex 进入技术领域的历程 03:34 早期平台工程工作 05:28 Replicated 11:24 Metalytics 12:36 十二要素代理 18:27 上下文工程 23:38 工具链工程 26:11 上下文过载 30:45 循环工程 44:34 AI 前后的软件工厂 50:33 自动化极限 55:18 自动化的三种选择 59:00 RPI 框架 1:04:16 有意的压缩 1:11:48 更努力地消耗 Token 还是更聪明地使用 Token 1:16:44 AI 垃圾内容 1:19:15 HumanLayer 1:29:09 书籍推荐 本期节目由以下赞助商支持： • @AntithesisHQ —— 借助 Antithesis，你可以使用 AI 代理处理关键系统，而无需担心正确性问题。像 Jane Street、http://Fly.io 以及 etcd 社区这样的团队都在使用 Antithesis 更快地交付更好的代码。https://antithesis.com/pragmatic • @buildkite —— 专为可靠规模而构建的 CI 编排平台。OpenAI、Anthropic、Cursor、Meta、Uber、Ramp、Nvidia、Airbnb 等众多公司都在使用。https://buildkite.com/pragmatic • @sentry —— 由开发者构建、面向开发者的应用监控软件。请查看他们的 AI 代理 Seer AI 和 Sentry MCP。http://sentry.io/pragmatic 本集三个有趣的收获： 1. 教训：交付未经审核的代码会在几个月内导致灾难。 Dex 在 2025 年 7 月尝试让模型编写代码而人类完全不审查。四个月后，他们关闭了系统并推翻了整个方案。生产环境崩溃，无论团队如何提示 Opus 4.1，模型都无法找到根本原因。修复后，团队花了整整三周（！！）才重新上手一个没有任何人类读过的代码库。 2. 上下文工程入门：找出“愚蠢区域”从何处开始。 一条经验法则：上下文窗口中使用的部分越少，结果越好。这是因为注意力机制是二次方的：上下文窗口中放入的内容越多，处理所有这些内容所需的计算量就越大。 3. “您完全正确！”或“您对此提出异议是正确的”这类短语意味着是时候开始新的会话了。 这些回复表明 LLM 会话已被“轨迹污染”，继续下去只是浪费时间和 Token。这是因为模型具有自回归特性。
查看原文
查看缓存全文

缓存时间: 2026/07/16 04:04

了解LLM上下文的工作原理以及如何应对上下文限制——也就是所谓的“上下文工程”——变得愈发重要。没有人比@dexhorthy更适合解释这一点了。

时间轴：

00:00 开场 01:33 Dex进入技术领域的路径 03:34 平台工程的早期工作 05:28 Replicated 11:24 Metalytics 12:36 12因子智能体 18:27 上下文工程 23:38 工具链工程 26:11 上下文过载 30:45 循环工程 44:34 AI前后的软件工厂 50:33 自动化极限 55:18 自动化的三种选择 59:00 RPI框架 1:04:16 有意的压缩 1:11:48 更费力地使用Token vs. 更聪明地使用Token 1:16:44 AI垃圾内容 1:19:15 HumanLayer 1:29:09 书籍推荐

由以下赞助商支持：

• @AntithesisHQ — 使用Antithesis，你可以利用AI智能体在关键系统上工作，而无需担心正确性问题。Jane Street、http://Fly.io以及etcd社区等团队都在使用Antithesis更快地交付更好的代码。https://antithesis.com/pragmatic

• @buildkite — 为可靠扩展而构建的CI编排平台。被OpenAI、Anthropic、Cursor、Meta、Uber、Ramp、Nvidia、Airbnb等众多公司使用。https://buildkite.com/pragmatic

• @sentry — 由开发者构建、为开发者服务的应用监控软件。了解他们的AI智能体Seer AI和Sentry MCP。http://sentry.io/pragmatic

本期节目的三个重要收获：

  1. 经验教训：交付未经审查的代码会在几个月内酿成灾难。

Dex在2025年7月尝试让模型编写代码而人类完全不审查任何内容。四个月后，他们关闭了项目并抛弃了整个系统。生产环境崩溃，无论团队如何向Opus 4.1提示，模型都无法找到根本原因。修复后，团队花了整整三周时间才重新熟悉一个没有任何人类读过一遍的代码库。

  1. 上下文工程101：找出“盲区”从何处开始。

通常来说，上下文窗口使用得越少，结果越好。这是因为注意力机制是二次方的：上下文窗口中的内容越多，处理所有内容所需的计算量就越大。

  1. “你说得完全正确！”或“你的反驳是对的”——这些话意味着是时候开启新会话了。

这些回复表明LLM会话已经“轨迹中毒”，继续下去只会浪费时间和Token。这是因为模型是自回归的。

快速构建。放心运行任意代码。

来源：https://fly.io/ 为只想交付的开发者打造的平台。由沙箱驱动，让你能自信地部署任意代码。

部署你的应用 (https://fly.io/app/sign-up)

现代计算，无需复杂

对于需要计算能力跟得上创意的构建者来说，Fly Machines是硬件虚拟化容器，可以瞬间启动，仅在需要时运行。几分钟内即可部署应用，或在隔离沙箱中运行不受信任的代码。

如同超能力般的沙箱

启动硬件隔离的沙箱，在完全安全的环境中运行AI生成的代码。每个Sprite都是一个自包含环境，在一秒内即可就绪。检查整个环境，运行任何内容，如果出现问题可以恢复。仅按实际CPU和内存消耗付费，精确到秒。

立即查看！(https://sprites.dev/)

持续跟进的存储

用于低延迟工作的快速本地NVMe，加上用于需要持久保存的数据的全局持久对象存储。快照环境、持久化状态，并让存储与沙箱一起扩展。

内置专用网络

每个沙箱拥有专用网络、精细路由和端到端加密——全部自动化完成。

  • 虚拟机完成你所需的一切 所有任务都在Machines上运行：你的应用、可扩展到数百万用户的智能体，以及AI生成的代码。

  • 像对待进程一样分支虚拟机 Fly Machines启动速度快到足以处理HTTP请求，仅在需要时运行，并可扩展到数万个实例。

  • 为分布式系统构建 运行Cockroach等集群数据库、全球分布的Postgres，以及Elixir FLAME等现代RPC系统。无需Terraform。

  • 贴近你的用户 在从悉尼到圣保罗的18个区域部署。低于100毫秒的响应时间带给用户原生应用的感觉，无论他们在哪里。

智能体在Sprites上运行得更好

你不必成为云专家就能构建可扩展的智能体。在每个拥有专用CPU、内存、网络和私有文件系统的虚拟机上运行每个实例。告别与共享运行时或嘈杂邻居的纠缠。在需要时获得持久化的“大脑”，在不需要时使用临时工作单元。

从第一天起就为扩展而构建 (https://sprites.dev/)

企业级就绪

在Fly Machines上运行的应用通过KVM硬件隔离，基于内存安全栈构建，并直接运行在我们自己的硬件上。

  • 单点登录
  • 有保障的响应时间支持
  • SOC2 Type 2认证
  • 内存安全的Rust和Go栈
  • CI/CD集成

构建你能想到的任何东西（并赋予用户同样的能力）

Fly.io是一个不会妨碍你的平台，运行在让你无需担忧即可运行任意代码的基础设施上。看看你能多快上手。

启动沙箱 (https://sprites.dev/)

相似文章

@oneill_c: https://x.com/oneill_c/status/2077453217609453784

X AI KOLs Timeline

一位研究人员讨论了LLMs中的持续学习挑战，将其比作健忘的实习生，并探索了扩展上下文窗口、构建有状态记忆以及将上下文压缩为潜在表示等方法，引用了他们在Still上的工作。

LLM的有效用例

Lobsters Hottest

本文分享了LLM在软件工程中的实际应用案例，包括通过RAG搜索客户对话、从日志中排查API故障以及内容精简。重点强调了效率提升和减少手动筛选工作。