哪些当前能在128GB内运行的本地模型生成最佳SVG鹈鹕?

Reddit r/LocalLLaMA 新闻

摘要

文章对在128GB Apple Silicon上运行的本地LLM进行基准测试,用于生成SVG鹈鹕,比较了Qwen3.8变体和DeepSeek V4的量化版本,量化由Unsloth完成。

我使用了著名的Simon Willison的鹈鹕骑自行车提示词,在能在128GB Apple Silicon上运行的最大本地LLM上进行测试。我使用了Unsloth的量化版本。Qwen3.8 Flash-Next 提供了大量细节。DeepSeek V4 Flash 出人意料地令人失望。Qwen3.8 27B 仍然很棒,我喜欢它一贯的极简风格。Qwen3.8 27B 在31GB时仍然很大吗?是的!但对于这个任务,2位量化(大约12GB)就能给出相同的结果。对于更复杂的编码,4位量化绰绰有余。RTX显卡完全足够!参考:基准测试Qwen3.8 27B量化:4位稳定,1位崩溃 - Terminal-Bench 2.1, GPQA Diamond 和 IFBench。Qwen3.6 27B 量化会破坏鹈鹕吗?
查看原文

相似文章