context-caching

一条技术性 Twitter 线程，分享构建高性能垂直 AI Agent 的原则，以 Shortcut 电子表格 Agent 为例。核心见解：将上下文视为分层缓存（L1/L2/L3），以在分布中最小化每个任务的成本。

一条推文批评了当前LLM架构因依赖顺序的上下文而导致浪费的重计算，并提出将上下文单元分开编码，以实现与顺序无关的高效缓存和生成。