consumer-devices

本文提出了一种面向消费级设备混合CPU-GPU LLM推理的自动化张量调度方法。

本文介绍了AgentStop，一种轻量级的监督器，能够预测并提前终止那些不太可能成功的本地AI代理轨迹，从而将能源浪费减少15-20%，同时几乎不影响任务性能。