DeepSWE基准测试显示，DeepSeek v4 Pro仅通过8%的任务

Reddit r/LocalLLaMA 新闻
benchmark deepseek ai-model coding-tasks performance deep-swe

摘要

关于DeepSWE基准测试的讨论显示，DeepSeek v4 Pro仅通过了8%的任务，与它在类似任务上的表现相比，这个分数低得令人惊讶。

这准确吗？我在OpenCode中使用DS v4，发现它几乎与Sonnet 4.6相当，所以我对这个分数如此之低感到惊讶。https://preview.redd.it/u9ccy5h8hg4h1.png?width=2042&format=png&auto=webp&s=1a7ccb98d449a07c87621703d1af2851fdbd4afe [https://deepswe.datacurve.ai/](https://deepswe.datacurve.ai/)
查看原文

相似文章

有人对新DeepSWE进行了审计，结果不太好看

Reddit r/singularity

DeepSWE是一个新的基准测试，用于评估AI编程代理在来自活跃开源仓库的真实软件工程任务上的表现，包含113个任务，涵盖TypeScript、Go、Python、JavaScript和Rust，提供隔离环境和基于程序的验证器。

我在家运行了（更快的）DeepSeek V4 Pro

Reddit r/LocalLLaMA

用户报告成功使用 ktransformers 在本地运行 DeepSeek V4 Pro 模型，并分享了在不同上下文深度下的详细基准测试结果，展示了改进的推理速度。