标签
TokenSpeed 是一个开源 LLM 推理引擎，专为 agentic 工作负载设计，采用首创的控制面（C++ 有限状态机）与执行面（Python）分离架构，主打 TensorRT-LLM 级性能与 vLLM 级易用性，已加入 PyTorch 生态并获 NVIDIA、AMD 支持。