@steeve：又是5天后，zml/llmd完全在Metal上运行，以完整bf16精度服务8个并发请求 zml/llmd是我们的大语言模型服务…
摘要
zml/llmd现已完全在Apple的Metal API上运行，以完整bf16精度服务8个并发请求，并支持连续批处理等现代功能。
查看缓存全文
缓存时间: 2026/06/13 14:17
又过了5天，zml/llmd 已在 Metal 上完全运行，以完整的 bf16 精度同时服务 8 个请求。
zml/llmd 是我们的 LLM 服务软件，具备所有现代化功能（连续批处理等）。
附注：“完整的 bf16”，真是生逢其时啊。 https://t.co/UtSae5UvNj
相似文章
FinCacheServe: Dependency-Consistent Answer Reuse for Cost-Efficient RAG Serving over Mutable Enterprise Documents
FinCacheServe is a system for dependency-consistent answer reuse in RAG serving over mutable enterprise documents, using document versions, evidence fingerprints, and tool fingerprints to invalidate caches. Evaluations show it skips over 53% of LLM calls with zero stale outputs, reducing GPU cost compared to versioned semantic caching.
Tim Cook 暗示为AI重度用户推出iCloud Plus新套餐
苹果CEO Tim Cook 暗示将推出一个新的付费 iCloud Plus 套餐，面向需要更高AI使用额度的用户，随着 Apple Intelligence 和 Siri AI 即将广泛上线。
尽管RAM短缺，苹果iPhone和Mac销量持续增长
苹果公司报告了2026年第三季度强劲的财报，尽管面临RAM短缺，iPhone销量增长22%，Mac销量增长29%，但警告称供应限制将加剧，内存成本将上升。该公司还宣布了一项新的升级计划，并正在为iPhone 18准备更具个性化的Siri AI。
Apple升级计划有何隐忧？
本文分析了Apple升级计划的潜在缺点，该计划以按月付款且无利息的方式租赁设备，但警示了债务催收风险和合同义务。
苹果应对其敌意的App Store评分系统感到羞愧
一位开发者批评苹果的App Store评分系统，认为该系统拙劣地改编自iTunes音乐商店，未能考虑到软件独特的定价、支持和质量需求。