又一个纯开放权重模型基准测试

Reddit r/LocalLLaMA 工具

摘要

# 开源权重模型社区基准测试平台 这是一个由社区驱动的开源权重模型基准测试平台,包含实时编码与智能体评测、领域/语言筛选功能,并呼吁社区提供算力、评测及开发方面的支持。 ## 当前排行榜 **DeepSeek-V4-Vision-Exp** 目前位居榜首。 所有测试均在本地完成,硬件配置为 **2×RTX 3090**。

实时结果,包含编码基准测试、智能体基准测试、按领域和其他分类筛选。(剧透:DeepSeek-V4-Vision-Exp 占据统治地位,但其他模型在其各自的优势领域也有出色表现):https://beta.locallm.top 由领域专家评估(大部分是我的朋友;编码部分完全由我本人评估),按领域/语言/意图分类(可在主页上筛选),包含智能体编码基准测试。这只是公开部分的数据(拥有私有查询并用其评估模型的人看到的结果会有所不同)。**当前众多局限性(部分)**:各领域/较新模型的评估/问题覆盖不完整且不均衡,只有部分问题完成了分类,UI/UX 尚不成熟,之前的重点放在小模型和低量化版本上。*另外*:所有内容都运行在本地的 2x RTX 3090 + 128GB RAM 电脑上,任何人都可以创建查询并评估模型的回答,新的测试运行(尤其是智能体相关的)出现较慢(参见电脑配置)。刻意不使用 LLM-as-judge(有时我会为此感到后悔)。目前正在扩展和评估的基准测试:1)智能体编码 2)一次性编码 3)智能体检索 4)智能体故事创作。正在评估的新模型:1)Qwen3.8-27B(Uncensored)。即将评估的新模型:1)GLM-5.3-Flash-UD-IQ3XSS 2)Mellum2.1-12B-A2.5B 如果这对你来说看起来很有趣:**求助征集** 我向同样希望构建社区基准测试的人求助,开发者和领域专家皆可!很多事情迟早会被实现,而智能体基准测试仅仅是开始。我在这几个领域征集帮助:1)计算资源 2)评估 3)开发——基本上什么都行。但任何建议和反馈都很有价值!我会在评论区添加更多信息并回答问题。P.S. 这篇帖子没有使用 AI 撰写(尽管英语实际上并不是我的母语言 /s)。
查看原文

相似文章

九个模型、五项编码任务、一块16GB显卡

Reddit r/LocalLLaMA

一项基准测试在单块16GB的RX 9060 XT显卡上,让九个模型完成了五项高难度的自包含编码任务,评判标准包括隐藏测试用例、随机化暴力验证器和性能门槛。DeepSeek-v4.1-flash和量化版Qwen3.8-27B(kvstream分支)均获得了满分5/5,而另外几个开源权重模型则在区间调度、星号堆模式匹配等算法设计任务上失利。