@mylifcc:买不起 NVIDIA 4090?有个狠人只花了两百多美元,硬是手工焊接出了……
摘要
一位爱好者用二手矿机零件,仅花费两百多美元就手工焊接出一套基于 FPGA 的推理设备,通过底层 VHDL 代码将 Qwen 直接硬编码进芯片——这是对昂贵 NVIDIA GPU 的一个令人惊叹的 DIY 替代方案。
买不起 NVIDIA 4090?有个狠人只花了两百多美元,用「二手矿机零件」硬是手工焊接出了一套跑大模型的方案。这可不是简单调调参数、写写 Python 脚本。他拿起焊枪做飞线,用底层 VHDL 硬件代码,把 Qwen(通义千问)直接硬编码进了 FPGA 芯片……算力丐帮的终极形态终于出现了——看完之后我直接起鸡皮疙瘩。
相似文章
@Oluwaphilemon1: Qwen3.8-27B at 56 tok/s on a 9-year-old GPU. Let that sink in. The GPU? NVIDIA V100 32GB. A card that launched at aroun…
在NVIDIA V100 GPU上实现Qwen3.8-27B模型每秒56个令牌的推理速度,展示了使用推测解码技术在旧硬件上进行经济高效的本地AI部署。
Home made GPU escalated quickly [video]
作者使用65536个低成本RISC-V微控制器(CH570)自制了一个GPU类并行计算集群,实现了QVGA分辨率渲染,并解决了电源、散热和编程自动化等工程挑战。
Chinese Hackers Latest Masterpiece with NVIDIA
A DIY enthusiast created a single-slot, low-profile NVIDIA V100 GPU, showcasing custom hardware modding in the PC building community.
我为 16GB 显存的 GPU 构建了 Ninfer 4080
一位社区开发者发布了 Ninfer 4080,这是一个优化的本地推理运行时,可在 16GB 的 RTX 4080 上以 100k 上下文运行 Qwen 3.8 27B GSQ 模型,通过 DFlash2 投机解码实现了最高约 2720 tok/s 的预填充速度和 262 tok/s 的解码速度——比 llama.cpp 或 vLLM 等通用引擎快得多。
使用旧电脑打造家庭服务器并升级GPU。Qwen3.8 27B以每秒约30个令牌运行。
一位用户使用改装的矿卡从旧电脑搭建家庭服务器,通过驱动补丁和硬件升级,实现了Qwen 3.8 27B AI模型每秒约30个令牌的推理速度。