Rippling的2100次评分运行实验与Stripe OpenRouter 70亿美元交易的对比

Reddit r/AI_Agents 新闻
ai-benchmarking payroll-automation model-evaluation open-source-models tech-acquisition developer-routing cost-optimization

摘要

Rippling对15个AI模型在工资单任务上进行了基准测试，发现Anthropic的Opus 4.6表现最佳，但失败率为9%，同时Stripe以70亿美元收购了OpenRouter，以帮助开发者选择AI模型。

Rippling进行了一项基准测试，包括在真实工资单工作上测试15个AI模型，每个模型有2100次评分运行，并采用通过/失败评分，未完成视为失败。结果： - 7个未调优的模型成绩为88.5%-89.5% - Z.ai的GLM 5.2（开源）：88.7%，总成本621美元 - Anthropic的Opus 4.6（唯一经过提示调优的模型）：91.0%，成本1,453美元 这是结构化工资单工作，即具有严格规则和验证的API调用，而获胜者Opus 4.6在此测试框架中9%的评分运行失败。Rippling围绕它构建了通过/失败评分和自己的支出控制台。几周后，Stripe以70亿美元收购了OpenRouter。OpenRouter帮助开发者根据成本、延迟、提供商速率限制、地区/合规性或任务适合度在AI模型之间进行选择。他们每月在800万开发者中处理约100万亿个代币，并从推理支出中赚取约5%的佣金，目前约为1.4亿美元的ARR。问题是，实际代理推理中有多少是重思考和推理，而不是相当简单的结构化输出工作？或者更直接地说，我们未来是否需要智能路由工作，还是简单的基于角色的固定设置就足够了？
查看原文

相似文章

Stripe 拟以 100 亿美元收购 AI 模型市场 OpenRouter

Reddit r/LocalLLaMA

Stripe 正在谈判以约 100 亿美元收购 AI 模型市场 OpenRouter，这标志着其向支付领域之外的大幅扩张。OpenRouter 允许开发者访问并在多个 AI 模型之间切换，该交易将是 Stripe 更广泛推进 AI 基础设施以及其单独竞购 PayPal 之后的最新动作。