又一个纯开放权重模型基准测试
摘要
# 开源权重模型社区基准测试平台 这是一个由社区驱动的开源权重模型基准测试平台,包含实时编码与智能体评测、领域/语言筛选功能,并呼吁社区提供算力、评测及开发方面的支持。 ## 当前排行榜 **DeepSeek-V4-Vision-Exp** 目前位居榜首。 所有测试均在本地完成,硬件配置为 **2×RTX 3090**。
相似文章
九个模型、五项编码任务、一块16GB显卡
一项基准测试在单块16GB的RX 9060 XT显卡上,让九个模型完成了五项高难度的自包含编码任务,评判标准包括隐藏测试用例、随机化暴力验证器和性能门槛。DeepSeek-v4.1-flash和量化版Qwen3.8-27B(kvstream分支)均获得了满分5/5,而另外几个开源权重模型则在区间调度、星号堆模式匹配等算法设计任务上失利。
我搭了一个本地 GPU 基准测试服务器,用来测试 4B 到 35B 模型,因为我受够了那些合成云排行榜和小样本测试
一位开发者搭建了配备两块 RTX 5060 Ti 显卡(共 32GB 显存)的本地 GPU 基准测试服务器,运行 vLLM,对 12 个从 4B 到 35B 的量化开放权重模型进行了完整基准数据集测试,并加入了实际耗时效率评分,最终在 llmbenchmarks.io 上发布了可排序的测试结果。
DeepSeek V4.1 Flash (1017) 登顶开源权重模型榜首
DeepSeek V4.1 Flash (1017) 正式发布,成为新的开源权重模型领跑者,在当前开源大模型基准测试中位居第一。
@AdinaYakup: DeepSeek V4 Pro's weights are out https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro-0813… - 1.6T / 49B MoE, MIT licens…
DeepSeek released DeepSeek-V4-Pro-0813, an open-weights MoE model (1.6T total / 49B active) with MIT license, 1M context, and enhanced agentic capabilities, outperforming its preview and competing with top proprietary models on benchmarks like Terminal-Bench 2.1.
我们对 DeepSeek V4 0731 进行了量化,并在 8× RTX 5090 上与其他流行的量化版本进行了基准测试
作者对 DeepSeek V4 0731 进行量化,修复了会导致基线偏差的 FP8 降转换问题,并在 8× RTX 5090 上对 38 个量化文件进行基准测试,展示了依赖 GPU 的结果和基于文件大小的比较。