@onloglogn: Apple ML Research 推出 RSI-Inference Bench http://rsi-inference.com https://github.com/apple-aiml-research/…

X AI KOLs Timeline 论文
benchmark ai-agents inference-optimization vllm sglang reinforcement-learning apple

摘要

Apple ML Research 推出 RSI-Inference Bench，这是一套基于真实世界 vLLM 和 SGLang 推理工程任务构建的基准与测试环境，用于检验 AI 智能体能否改进驱动 AI 的系统——结果显示，在花费 10 万美元 API token 和 5 万 GPU 小时后，最佳智能体的 pass@1 仅为 26.7%。

🍎 Apple ML Research 推出 RSI-Inference Bench 🌐 http://rsi-inference.com 💻 https://github.com/apple-aiml-research/ml-rsi-inference-bench… AI 智能体能否改进驱动 AI 的系统？ 我们花费了 $100K API tokens 和 50K GPU 小时来寻找答案。我们基于真实世界的 #vLLM 和 #SGLang 任务构建了测试环境与基准，覆盖模型推理工程的完整生命周期： 🚀 模型首日支持（Day-0 Model Support） ⚡ 推理优化 🔧 Bug 修复 → 性能尚未饱和：最佳智能体 pass@1 仅为 26.7% → 全面覆盖推理技术栈 → 可验证的奖励：二元与连续形式 观看视频了解更多！
查看原文
查看缓存全文

缓存时间: 2026/10/17 12:57

🍎 Apple ML Research 发布 RSI-Inference Bench

🌐 http://rsi-inference.com 💻 https://github.com/apple-aiml-research/ml-rsi-inference-bench…

AI 智能体能否改进运行 AI 的系统？

我们花费了 $100K 的 API token 和 50K GPU 小时来寻找答案。我们基于真实世界 #vLLM 和 #SGLang 任务构建了环境和基准测试，覆盖了模型推理工程的完整生命周期：

🚀 Day-0 模型支持 ⚡ 推理优化 🔧 Bug 修复

→ 尚未饱和：最佳智能体 pass@1 仅为 26.7% → 全面覆盖推理技术栈 → 可验证奖励：二元和连续型

观看视频了解更多！

GitHub & BitBucket HTML 预览

来源：https://htmlpreview.github.io/?https://github.com/apple-aiml-research/ml-rsi-inference-bench/blob/main/docs/leaderboard.html 输入要预览的 HTML 文件 URL：

或在 URL 前加上：http://htmlpreview\.github\.io/?https://github\.com/twbs/bootstrap/blob/gh\-pages\-2\.3\.2/index\.html

由 niu tech 开发（https://github.com/niutech）| 在 GitHub 上贡献（https://github.com/htmlpreview/htmlpreview.github.com）

相似文章

InferenceBench：面向AI代理的开放式LLM推理优化基准测试

arXiv cs.AI

InferenceBench是一个基准测试，用于评估AI代理在多个瓶颈场景下使用H100 GPU优化LLM推理速度的表现。结果显示，代理虽然优于简单基线，但常常收敛于单一框架，且性能不及简单的超参数搜索，表明需要更好的探索策略。