标签
一位创作者分享了对 Strata 推理框架的基准测试实验，在 RTX 4090 上系统性地限制专家缓存（expert cache）的显存预算，以测量在不同模拟 GPU 显存层级下速度如何下降，使用 Qwen3.8-Flash-Next Q2_0，上下文长度为 8192，温度为 0。
一位用户使用llama.cpp配合张量分割和其他优化，将一对不匹配的Tesla V100 GPU（16GB和32GB）配置成一个强大的本地LLM实验室，使用Qwen3.8 27B模型实现了高提示和解码速度。
Apple的M5 Ultra和M6芯片的基准测试结果显示GPU性能显著提升，其中M5 Ultra在Geekbench上的Metal得分比M3 Ultra高出多达59%，而M6芯片得分比M5高出34%。
一位用户报告在 NVIDIA RTX 4070 Ti 上使用 Ornith-1.5-35B-A3B MOE 模型达到了每秒 60 个令牌的速度，展示了高效的本地推理优化。
RTX 5060 Ti 本地大语言模型仓库已更新，包含经过测试、可复制的预设和一个新的高上下文测试环境，为 Qwen3.8 27B 等模型在单 GPU 和双 GPU 设置上提供已验证的配置和基准测试结果。
作者在4GB RTX 3050 Ti笔记本GPU上对Bike4Mind工作空间内的本地Qwen模型进行了基准测试，发现采用Q4_K_M量化的2B模型是适配VRAM的最佳选择，达到了96 tok/s。较小的模型在工具选择、需要多个模型的制品生成以及导致模型切换开销的RAG嵌入方面存在困难。
Primate Labs 发布了 Geekbench 7，新增了视频/音频编码测试、重新设计的多核测试以及更大的数据集，以更准确地评估现代硬件性能。
演示如何使用Ternary Bonsai 27B Q2_0模型和llama.cpp在16GB RTX 4080 Super上实现256k上下文，生成速度高达141 tok/s。
Sharon Zhou提出了一个与厂商无关的内核级GPU性能基准测试，旨在帮助AI代理优化前沿模型的计算效率，并以AMD的AgentKernelArena为起点。
在RTX 5090上运行量化后的Gemma-4-31B模型，上下文长度从35k增加到80k，展示了显著的性能提升。
用户对 Gemma4 26B A4B 模型的 APEX 量化版本在 AMD RX 9060 XT 上进行了基准测试，在 90k 上下文下实现了 38 tps，没有质量下降，发现它优于之前的量化版本。
一位用户在vast.ai上对21款消费级GPU进行了基准测试，运行小型TTS模型（OmniVoice），显存峰值5GB，比较了相对于实时速度和RTX 3090的性能。