21款GPU运行小型TTS模型基准测试(显存峰值:5GB)
摘要
一位用户在vast.ai上对21款消费级GPU进行了基准测试,运行小型TTS模型(OmniVoice),显存峰值5GB,比较了相对于实时速度和RTX 3090的性能。
相似文章
在6GB RTX 4050上对20个小LLM的基准测试
对20个为6GB GPU量化的小LLM的详细基准测试,测量了不同上下文长度下的速度和VRAM使用情况,并对工具使用和指令遵循进行了定性探针。该报告旨在帮助拥有中等硬件的用户为本地私有的自动化任务选择模型。
4090 + 5060 Ti + 64GB RAM:35B-A3B 达 206 t/s,122B 达 37 t/s
一位用户分享了在双 GPU(RTX 4090 和 RTX 5060 Ti)上运行大语言模型(Qwen 27B-122B)的基准测试结果,实现了极高的 token 生成速度(例如 35B-A3B 达到 206 t/s,122B 达到 37-41 t/s)。帖子包含配置详情以及指向 GitHub 仓库的链接,其中包含脚本和原始数据。
我搭了一个本地 GPU 基准测试服务器,用来测试 4B 到 35B 模型,因为我受够了那些合成云排行榜和小样本测试
一位开发者搭建了配备两块 RTX 5060 Ti 显卡(共 32GB 显存)的本地 GPU 基准测试服务器,运行 vLLM,对 12 个从 4B 到 35B 的量化开放权重模型进行了完整基准数据集测试,并加入了实际耗时效率评分,最终在 llmbenchmarks.io 上发布了可排序的测试结果。
@superalesha: 你们大多数人可能不知道一个8.4GB的模型在12GB RTX 3080 Ti上能做什么。Qwen3.8-27B制作了这个体素日本宝塔花园……
展示了Qwen3.8-27B AI模型在12GB RTX 3080 Ti GPU上的性能,使用llama.cpp在特定量化设置下,在128K上下文中达到每秒47个令牌。
九个模型、五项编码任务、一块16GB显卡
一项基准测试在单块16GB的RX 9060 XT显卡上,让九个模型完成了五项高难度的自包含编码任务,评判标准包括隐藏测试用例、随机化暴力验证器和性能门槛。DeepSeek-v4.1-flash和量化版Qwen3.8-27B(kvstream分支)均获得了满分5/5,而另外几个开源权重模型则在区间调度、星号堆模式匹配等算法设计任务上失利。