branch-prediction

本文详细介绍了Rust中二分查找的一系列底层优化，通过利用分支预测和SIMD等CPU架构特性，实现了6倍的加速，并将其应用于scikit-learn梯度提升用例中。

一篇博客文章展示了添加一个看似无用的条件检查如何通过允许CPU的分支预测器消除数据依赖，从而显著提升循环性能，在特定的压缩算法中实现了高达4倍的加速。

推测解码受1990年代CPU分支预测启发，现被Anthropic、Google和Meta用于将LLM推理速度提升2-3倍。它使用一个小模型来猜测未来的token，并用一个大模型并行验证它们，从而避免了解码期间GPU空闲时间。