lightseek

Lightseek发布TokenSpeed，一款面向智能体工作负载优化的高性能LLM推理引擎，采用编译器驱动的并行技术和先进的内核优化，相关技术已被vLLM采纳。