标签
作者观察到，二手 RTX 3090 GPU 在 eBay 上的售价为 1300-1500 美元，高于五年前购买的全新 3090 Ti，并质疑为什么人们会以如此高价购买老旧二手 GPU 用于 AI 工作站。
一条推文建议用户购买RTX 3090以在本地运行AI模型，声称这简单、性能出色且便宜。
用户详细介绍了对配备双RTX 3090 eGPU和NVLink的AMD Strix Halo系统进行改造和基准测试的过程，发现对密集模型的LLM推理速度有所提升，尤其是使用vLLM时，并讨论了能效权衡。
提醒一下，两块RTX 3090加上Qwen 3.6 27B或Gemma 4 31B等开源模型，就可以运行强大的本地AI代理，性能堪比Opus 4.5，配合Claude Code、自托管SearXNG等工具使用。
对llama.cpp的b9200更新进行基准测试，使用优化标志在单张RTX 3090上运行Qwen 3.6 27B MTP，结果显示在代理工作流的提示处理速度方面有显著性能提升。
某用户使用llama.cpp在单张RTX 3090上对Qwen3.6 27B的MTP变体与普通版本进行了基准测试，发现MTP在长上下文（32k-64k）下生成速度最高可提升2.37倍，但预填充较慢且暂不支持并发。
一位用户分享了在运行Qwen3.6-27B与vLLM的4x RTX 3090平台上进行的功耗限制测试，发现220W是在最小化吞吐量损失下实现峰值效率的甜点。
PFlash 现在支持在单张 RTX 3090 上运行 @poolsideai 的 Laguna-XS.2 (33B-A3B MoE)，实现了 111 tok/s 的解码速度，预填充速度比 llama.cpp 快 5.4 倍，并在高达 131K 上下文中通过 NIAH 测试。
本文展示了 8 个本地大语言模型在 RTX 3090 上的基准测试结果，显示功率能效在约 225W 时达到峰值，而在满功率下收益递减。