标签
Navige 是一款在 AI 智能体运行时降低成本的工具，通过充分性智能将请求智能路由到更小的模型、缓存重复读取并精简工具输出，同时提供预算设置、失控循环检测和敏感操作审批功能。
探索了NVIDIA Dynamo，这是一个用于在多个GPU集群节点上部署LLM的工具，具有模型缓存、自动扩展、多节点部署以及Kubernetes集成等功能。