标签
打包双推理（PTI）是一种通过单批解码中运行多个token序列来实现约2倍LLM吞吐量的技术，它利用了llama.cpp中的权重共享，无需草稿模型或额外VRAM。
Tiny-vLLM是一个高性能的LLM推理引擎，采用C++和CUDA实现，提供连续批处理和PagedAttention等特性，并作为教育资源。
Snowflake现在支持基于Ray的作业级批量推理，通过单一API调用即可在数百万非结构化数据点上执行分布式GPU，从而扩展模型推理。