哪些当前能在128GB内运行的本地模型生成最佳SVG鹈鹕?
摘要
文章对在128GB Apple Silicon上运行的本地LLM进行基准测试,用于生成SVG鹈鹕,比较了Qwen3.8变体和DeepSeek V4的量化版本,量化由Unsloth完成。
我使用了著名的Simon Willison的鹈鹕骑自行车提示词,在能在128GB Apple Silicon上运行的最大本地LLM上进行测试。我使用了Unsloth的量化版本。Qwen3.8 Flash-Next 提供了大量细节。DeepSeek V4 Flash 出人意料地令人失望。Qwen3.8 27B 仍然很棒,我喜欢它一贯的极简风格。Qwen3.8 27B 在31GB时仍然很大吗?是的!但对于这个任务,2位量化(大约12GB)就能给出相同的结果。对于更复杂的编码,4位量化绰绰有余。RTX显卡完全足够!参考:基准测试Qwen3.8 27B量化:4位稳定,1位崩溃 - Terminal-Bench 2.1, GPQA Diamond 和 IFBench。Qwen3.6 27B 量化会破坏鹈鹕吗?
相似文章
忘掉鹈鹕,迎来象鼻虫时代! / 防基准测试过度的 SVG 和视觉基准测试
本文介绍了使用不同量化和设置测试 Qwen3.8-27B AI 模型,以将其图像重建为 SVG,目标是创建一个能抵御基准测试过度优化的基准。初步结果显示,高推理强度和特定的缓存配置能提升性能。
我的笔记本上的Qwen3.6-35B-A3B画出的鹈鹕比Claude Opus 4.7更好
Simon Willison对比了在MacBook Pro上本地运行的Qwen3.6-35B-A3B与Claude Opus 4.7,发现Qwen生成的骑自行车的鹈鹕和骑独轮车的火烈鸟的SVG插图更好,不过他指出这个狭窄的基准测试并不能反映更广泛的模型能力。
Qwen 3.6 27B 的量化是否会破坏 pelican?
本文评估了 Qwen3.6-27B 模型的不同量化方式对输出质量的影响,使用了 KL 散度和 top-1 token 准确率,以及 SVG 绘图等可视化示例。
在配备 24GB 内存的 M4 芯片上运行本地模型
指南介绍了如何使用 LM Studio、Ollama 等工具,在拥有 24GB 内存的 M4 MacBook 上运行 Qwen 3.5-9B 等本地 AI 模型,并提供了优化性能的具体配置建议。
SVG并排对比:Qwen3.8-27B 对比 Muse Glimmer 30B 对比 Gemma 4 26B A4B,以及 Gemini 3.7 Flash 作为对照。
本文比较了本地AI模型Qwen3.8-27B、Muse Glimmer 30B和Gemma 4 26B A4B在SVG生成方面的性能,使用Gemini 3.7 Flash作为云对照,并突出了输出质量的差异。