标签
Levanto Labs 推出 Sage2，一款流式决策模型，对对话中的每个 token 仅计算一次，复用缓存上下文，因此每条新消息只需承担其自身的 token 成本。它提供带类型化答案和校准概率的输出，在渐进式上下文下声称决策速度提升 3 倍，且抽取成本比 Opus 5.5 低 166 倍。
新分析指出，最便宜的 LLM 并不总是完成任务的最便宜方式：在会话中途切换模型可能因丢失上下文缓存而抵消成本节省，智能路由应优化整个工作流而非仅看模型价格。
开发者分享其 LLM 驱动的人生模拟项目 Slow Vale 的工程实践：中文服已有 800+ 持久化 AI 居民共处一个持续运行的城市，文章详述并发决策、动态动作空间、上下文缓存与推理成本。当前运行时使用托管的 DeepSeek Flash 而非本地推理。
EncBank 扩展了 CoMem 的中间状态接口，将 LLM 的低层视为可复用的文档编码器，其紧凑的低比特输出可以在不同查询之间进行缓存和复用。在 Qwen 骨干模型上的评估表明，4 位存储的性能接近原生精度，同时将持久化存储减少至 28.1%，并且在预填充速度上有显著提升，但代价是精度有所下降。
一条技术性 Twitter 线程，分享构建高性能垂直 AI Agent 的原则，以 Shortcut 电子表格 Agent 为例。核心见解：将上下文视为分层缓存（L1/L2/L3），以在分布中最小化每个任务的成本。
一条推文批评了当前LLM架构因依赖顺序的上下文而导致浪费的重计算，并提出将上下文单元分开编码，以实现与顺序无关的高效缓存和生成。