标签
本文提出BudgetBench,一个通过调整每次调用的输入令牌预算来评估本地大型语言模型代理内存策略的协议与工具,为社区基准测试提供可重用的测量平台。
本文引入了answer-in-context,一种用于预算受限多跳RAG的诊断指标,用于衡量黄金答案是否存在于打包后的读者上下文中,并提出了一种子模证据打包方法,在特定条件下优于启发式方法。