@steeve：又是5天后，zml/llmd完全在Metal上运行，以完整bf16精度服务8个并发请求 zml/llmd是我们的大语言模型服务…

X AI KOLs Following 2026/06/13 09:16 工具

llm-serving metal apple bf16 continuous-batching zml

摘要

zml/llmd现已完全在Apple的Metal API上运行，以完整bf16精度服务8个并发请求，并支持连续批处理等现代功能。

又是5天后，zml/llmd完全在Metal上运行，以完整bf16精度服务8个并发请求 zml/llmd是我们的大语言模型服务软件，具备所有现代便利功能（连续批处理等）附注：“完整bf16”，活在这个时代真好 https://t.co/UtSae5UvNj

查看原文

查看缓存全文

缓存时间: 2026/06/13 14:17

又过了5天，zml/llmd 已在 Metal 上完全运行，以完整的 bf16 精度同时服务 8 个请求。

zml/llmd 是我们的 LLM 服务软件，具备所有现代化功能（连续批处理等）。

附注：“完整的 bf16”，真是生逢其时啊。 https://t.co/UtSae5UvNj

相似文章

Hacker News Top

Apple 的 M6 Pro 芯片在 Geekbench 7 基准测试中取得了最高的单核 CPU 分数，展示了其领先的性能能力。

X AI KOLs Timeline

该推文讨论了自2008年以来，Apple和Google保持App Store审核流程不变，这对iOS和Android原生应用开发产生了影响。

X AI KOLs Following

PyTorch Conference North America 宣布，设有关于 Muon 和 TorchJD 等新优化器、fastsafetensors 和 LMCache 等工具的会议环节，演讲者来自主要科技公司和机构，将于 10 月 20 日至 21 日在圣何塞举行。

X AI KOLs Following

WeChat 添加了 Markdown 支持，Apple 采用了 USB Type-C，Claude Code 支持了 agents.md，突出了生态系统中的各种技术更新。

Hacker News Top

本文提供了 Xcode 27.1 Beta 版的发布说明，详细介绍了 Apple 集成开发环境中的新功能、改进和错误修复。