@steeve：又是5天后，zml/llmd完全在Metal上运行，以完整bf16精度服务8个并发请求 zml/llmd是我们的大语言模型服务…

X AI KOLs Following 工具
llm-serving metal apple bf16 continuous-batching zml

摘要

zml/llmd现已完全在Apple的Metal API上运行，以完整bf16精度服务8个并发请求，并支持连续批处理等现代功能。

又是5天后，zml/llmd完全在Metal上运行，以完整bf16精度服务8个并发请求 zml/llmd是我们的大语言模型服务软件，具备所有现代便利功能（连续批处理等） 附注：“完整bf16”，活在这个时代真好 https://t.co/UtSae5UvNj
查看原文
查看缓存全文

缓存时间: 2026/06/13 14:17

又过了5天，zml/llmd 已在 Metal 上完全运行，以完整的 bf16 精度同时服务 8 个请求。

zml/llmd 是我们的 LLM 服务软件，具备所有现代化功能（连续批处理等）。

附注：“完整的 bf16”，真是生逢其时啊。 https://t.co/UtSae5UvNj

相似文章