io-aware

Flash-dLLM是一个用于扩散LLMs的免训练推理加速框架，它通过IO感知的KV缓存和并行解码来实现显著的加速和内存效率提升。

Flash-KMeans是精确KMeans的一种I/O感知实现，它围绕现代GPU瓶颈重新设计了算法，通过消除冗余的内存读写，相比cuML实现了33倍加速，相比FAISS实现了200倍加速。

TIDE 是一种用于扩散大型语言模型的无损推理系统，它利用专家激活的时间稳定性来减少 I/O 开销和计算，在单 GPU-CPU 系统上实现高达 1.4-1.5 倍的吞吐量提升。