stateful

Trigger.dev 的新聊天代理让开发者能够构建持久、有状态的 AI 聊天体验，这些体验在刷新和崩溃后依然存活，没有超时限制，并且可以在危险工具调用前暂停以请求许可。

TokTier is a stateful tokenization service that cuts tokenization overhead in agentic LLM serving by reusing stable token boundaries and running exact CPU/GPU tokenization, reducing time-to-first-token by 16–34% under vLLM.

本文探讨了状态化与无状态化智能体设计在可扩展人工智能系统中的权衡，并提供了使用 Groq API 和 Llama 3.1 8B Instant 模型的实现示例。

介绍了ContinuityBench，一个针对多提供商大语言模型路由中有状态故障转移的基准测试与系统研究，提出了新指标（CPR、CLO）和一种历史转发代理架构，实现了99.20%的上下文保留率。

RecGPT-V3 引入了一种有状态、混合模态的推荐系统，通过记忆中枢和潜在意图推理，将计算量减少55.8%，输出token成本降低200倍，在淘宝信息流中取得了显著收益。

本文详细拆解了Hermes Agent的架构，包括事件总线、适配器层、GatewayRunner核心调度层等，揭示了Agent作为有状态、事件驱动运行时的设计模式。

提出SKG-Eval，一种用于多轮对话的准确定性评估框架，利用增量语义知识图谱检测跨轮不一致性、矛盾及主题漂移，实现与人类判断更高的相关性。