commodity-gpu

标签

#commodity-gpu

超越静态RAG：一种用于商品GPU上高效长上下文推理的自适应三元度量路由框架

arXiv cs.LG ↗ · 2026-09-17 缓存

本文提出一种三元度量路由器，这是一种确定性框架，用于推理管道之间的自适应路由，以解决商品GPU上长上下文RAG中的压缩悖论，实现零OOM故障并提升性能。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈