local-cloud-collaboration

本文介绍了CARGO，一种无需训练的路由框架，利用本地LLM在采样响应上的推理时一致性来决定何时卸载到云端模型，无需额外训练即可实现可控的协作比例。