@mylifcc:买不起 NVIDIA 4090?有个狠人只花了两百多美元,硬是手工焊接出了……

X AI KOLs Timeline 新闻

摘要

一位爱好者用二手矿机零件,仅花费两百多美元就手工焊接出一套基于 FPGA 的推理设备,通过底层 VHDL 代码将 Qwen 直接硬编码进芯片——这是对昂贵 NVIDIA GPU 的一个令人惊叹的 DIY 替代方案。

买不起 NVIDIA 4090?有个狠人只花了两百多美元,用「二手矿机零件」硬是手工焊接出了一套跑大模型的方案。这可不是简单调调参数、写写 Python 脚本。他拿起焊枪做飞线,用底层 VHDL 硬件代码,把 Qwen(通义千问)直接硬编码进了 FPGA 芯片……算力丐帮的终极形态终于出现了——看完之后我直接起鸡皮疙瘩。
查看原文

相似文章

Home made GPU escalated quickly [video]

Hacker News Top

作者使用65536个低成本RISC-V微控制器(CH570)自制了一个GPU类并行计算集群,实现了QVGA分辨率渲染,并解决了电源、散热和编程自动化等工程挑战。

我为 16GB 显存的 GPU 构建了 Ninfer 4080

Reddit r/LocalLLaMA

一位社区开发者发布了 Ninfer 4080,这是一个优化的本地推理运行时,可在 16GB 的 RTX 4080 上以 100k 上下文运行 Qwen 3.8 27B GSQ 模型,通过 DFlash2 投机解码实现了最高约 2720 tok/s 的预填充速度和 262 tok/s 的解码速度——比 llama.cpp 或 vLLM 等通用引擎快得多。