在预算低于2500美元的硬件上运行GLM5.2。

太多时候，我听到人们抱怨无法运行最先进的模型，或者声称这需要5万美元甚至10万美元。https://www.ebay.com/itm/398079051468 Epyc主板和CPU - 460美元 https://www.ebay.com/itm/206374955959 P40 24GB - 230美元，买2张 - 460美元 https://www.ebay.com/itm/318489798853 512GB DDR4 - 1000美元 总计 = 1920美元。你还需要电源、存储、P40的风扇。这些很容易凑齐，花费350美元。但为了保险起见，我们预算580美元，让整套配置总价为2500美元。你可以在这套配置上使用cmoe和llama.cpp运行GLM5.2的Q2/Q3/Q4变体。当然，速度会慢，但这是属于你自己的！如果你有钱，或者以后有了更多预算，你可以用更快的GPU（如4080、3090等）替换掉P40。你也可以多花点钱，大概500美元，从中国淘两张2080ti 22GB的GPU。只要你愿意想办法，就能让事情成真。这套配置同样可以运行KimiK2.6、DeepSeek、MiniMax等模型。是的，代价就是慢。你不会用这些大模型跑智能体，但可以启动它们进行规划和严肃的调试。他们可以拿走Fable、Mythos或者随便什么模型。但至少你不会被归入“没有”的那一类人。