我构建了一个确定性代理来丢弃过时上下文（减少约50%的Token消耗）。本周进行压力测试。[P]

Reddit r/MachineLearning 工具
open-source proxy rag context-rot token-efficiency enterprise vector-db

摘要

一位开发者构建了一个开源代理（KU-Gateway），能够在LLM合成前丢弃向量数据库检索中的过时上下文，从而减少约50%的Token消耗，并防止过时数据导致的幻觉。该工具现已开放为期14天的压力测试/黑客马拉松。

大家好，我一直在研究为什么企业级RAG管线在生产中会失败。沉默的杀手是'上下文腐烂'，即检索管线返回语义完美但事实过时的上下文（已被取代的文档、旧的API规范）。我构建了一个开源代理（KU-Gateway），位于向量数据库和LLM之间。它从数学上对上下文块进行时间衰减评分，并在合成前物理丢弃过时的负载。我刚刚与一家大型科技公司的托管代理团队进行了早期试用计划（EAP），发现他们的Token消耗减少了约50%，同时确定性地阻止了过时数据导致的幻觉。我现在开放托管API层进行为期14天的压力测试（“零到收入”挑战）。我想看看社区能否破坏路由逻辑，或者构建利用时间门控上下文的自主代理。数学原理仓库：https://github.com/VLSiddarth/KU-Gateway.git 如果你想加入压力测试/黑客马拉松：https://api.knowledgeuniverse.tech/
查看原文

相似文章

TokenPilot：面向LLM代理的缓存高效上下文管理

Hugging Face Daily Papers

TokenPilot是一个双粒度上下文管理框架，通过稳定提示前缀和保守管理上下文片段，降低长时程LLM会话中的推理成本。在基准测试中实现了61-87%的成本降低，同时保持竞争性性能。

为什么每个“上下文层”工具都在谎报token节省量？

Reddit r/AI_Agents

作者批评了新兴的上下文层和MCP优化器工具缺乏透明的基准测试，这些工具承诺大幅节省token，但实际测试却无法复现其声称的效率。他们敦促开发者要求公开、可复现的基准测试，并寻求真正能提供可衡量结果的工具推荐。

绝不浪费一个token（15分钟阅读）

TLDR AI

一篇技术博客文章，解释如何通过在代理和提供商之间放置一个持久缓冲区来避免浪费LLM token，从而在进程崩溃时无需重新获取已生成的token即可恢复。