@aigclink: NVIDIA的开源代理工具专注于令牌效率:SoL-Pi,比原生工具减少35–64%的令牌,50…

X AI KOLs Timeline 工具

摘要

NVIDIA的SoL-Pi是一个开源代理工具,通过自动化检查和重构AI工作流程以提高效率,减少35-64%的令牌使用和50-54%的API成本。

NVIDIA的开源代理工具专注于令牌效率:SoL-Pi,比原生工具减少35–64%的令牌,API成本降低50–54% 它让AI自动检查AI工作流程,识别浪费,如重复、绕路、无意义内容、重复读取大文件、过度依赖摘要,然后重构代理的运行框架,使其更令牌高效和成本效益高,而不降低任务完成能力 RSI本身极其令牌密集,每次改进尝试都代价高昂,因此SoL-Pi旨在扩展RSI之前使AI更高效 与基础Pi相比,减少45–49%的令牌,成本降低1/3 SoL-Pi使用自动化实验来精确定位AI工作中的主要浪费分为四个方面:每轮重放完整历史、重复传输大量内容、不必要的来回思考、昂贵模型做廉价工作,然后它直接沿着这四个方面进行优化 首先,将高确定性且无需中间决策的“编辑后测试/编辑后构建”操作合成为一个操作,节省额外的往返 不是在完成子任务后立即压缩,而是触发是否压缩的评估,只有当预期的未来节省可以抵消这次重写成本时才执行压缩 将大内容块存储在仓库中,只在上下文中保留“检索代码”和简短摘录,需要时按页获取 将读取长日志的粗活外包给便宜模型,但它们的收据必须逐项与原始日志档案进行验证,只有验证通过后,昂贵的脑力才能进行决策 这些机制遵循一条铁律:节省必须来自消除浪费,而不是偷懒工作,否则直接视为不合格 #SoLPi #Token效率
查看原文
查看缓存全文

缓存时间: 2026/09/19 17:09

NVIDIA开源智能体框架聚焦令牌效率:SoL-Pi,相比原生框架减少35-64%令牌消耗,API成本降低50-54%

该框架通过AI自动检测AI工作流中的资源浪费——包括重复操作、无效绕行、冗余语句、大型文件的重复读取以及过度依赖摘要信息——进而重构智能体运行框架,在保持任务完成能力的前提下实现更高的令牌效率与成本效益。

递归自我改进(RSI)本身极度消耗令牌,每次优化尝试代价高昂,因此SoL-Pi旨在通过提升AI效率来为大规模RSI应用奠定基础。

相比基础版Pi,令牌消耗减少45-49%,成本降低三分之一。

SoL-Pi通过自动化实验精准定位AI工作中的四大资源浪费领域:每轮重复完整历史记录、反复传输大型内容、不必要的往返式思考、以及由昂贵模型处理低价值任务。框架针对这四大痛点实施精准优化:

首先,将需要高确定性且无需中间决策的“编辑-测试/编辑-构建“操作合并为单次动作,节省额外往返开销。

采用智能压缩策略:在完成子任务后不立即压缩,而是启动评估程序判断压缩必要性,仅当预期未来节省量能抵消重写成本时才执行压缩。

将大型内容块存储于专用仓库,在上下文中仅保留“检索码“和简短摘要,需要时按页获取完整内容。

将读取长日志等基础工作外包给低成本模型,但要求其逐项提交可验证凭证,必须与原始日志档案比对通过后,才能交由高算力单元进行决策。

这些机制遵循铁律:所有节省必须源于消除浪费,而非降低工作质量,否则将被直接判定为不合格。

#SoLPi #Token效率

相似文章

NVIDIA推理软件栈如何实现最低Token成本

NVIDIA Blog

NVIDIA全栈推理软件与硬件协同设计,仅一个月内就在Blackwell平台上将Token成本降低多达5倍,为AI工厂实现更低的每Token成本。Baseten、Cognition、Deep Infra和Together AI等公司正在使用该软件栈优化推理性能。