@MaziyarPanahi：我终于让GLM-5.2成功处理了一份整整三年的病历，这份病历之前只有Bonsai 27B有权读取其中的292条就诊记录…

X AI KOLs Timeline 模型
local-inference llama.cpp open-source medical-ai edge-computing glm-5.2 bonsai-27b

摘要

@MaziyarPanahi在Mac Studio上使用llama.cpp本地运行GLM-5.2和Bonsai 27B处理一份三年的病历，发现了一个曾被标记但被忽略的危险药物相互作用。两个模型在Apache-2.0许可下完全在设备上运行，Bonsai在约2秒内回答查询，@PrismML声称一个1-bit构建可以装进iPhone。

我终于让GLM-5.2成功处理了一份整整三年的病历，这份病历之前只有Bonsai 27B有权读取 292条就诊记录驻留在我的Mac Studio上的Bonsai中。使用llama.cpp、Metal、三进制量化，7.2GB，Apache-2.0。病历从未离开过这台机器。 GLM-5.2只能提问。它问了三个问题。Bonsai在约2秒内回答了每个问题，同时仍有19,398个token在缓存中。 随后它发现了埋藏于17个月前的问题：eGFR为39时使用二甲双胍加碘造影剂。肾内科曾在2025年对此发出警告。但急诊科还是安排了CT检查。 以前，一个27B级别的模型需要数据中心才能运行。@PrismML表示，1-bit构建仅3.9GB，可以装进iPhone 17 Pro Max。 编排器从未接触过数据。这正是关键所在。 接下来它应该读取什么？
查看原文
查看缓存全文

缓存时间: 2026/07/16 08:15

我终于让 GLM-5.2 成功处理完一整份三年期的病历——此前只有 Bonsai 27B 有权读取这份病历。

292 次就诊记录存于我 Mac Studio 上的 Bonsai 中。llama.cpp、Metal、ternary、7.2GB、Apache-2.0。病历数据从未离开过这台机器。

GLM-5.2 只能提问。它问了三个问题。Bonsai 在约 2 秒内逐一回答，缓存中仍保留 19,398 个 token。

随后它揪出了 17 个月前埋下的隐患：在 eGFR 39 的情况下使用二甲双胍 + 碘造影剂。2025 年肾内科曾就此发出警告，但急诊科还是安排了 CT 扫描。

一个 27B 级别的模型曾经需要数据中心。@PrismML 表示，其 1-bit 版本仅为 3.9GB，可装进 iPhone 17 Pro Max。

编排器从未触碰过数据。这才是关键所在。

接下来该读什么？

相似文章

Show HN: 在慢速电脑上运行GLM 5.2

Hacker News Top

Colibrì是一个纯C推理引擎，通过从磁盘流式加载专家，在约25GB RAM的消费级硬件上运行744B参数的GLM-5.2 MoE模型，配合推测解码可实现约2.2-2.8 token/秒的速度。