inference-bench

InferenceBench是一个基准测试，用于评估AI代理在多个瓶颈场景下使用H100 GPU优化LLM推理速度的表现。结果显示，代理虽然优于简单基线，但常常收敛于单一框架，且性能不及简单的超参数搜索，表明需要更好的探索策略。