@steeve:又是5天后,zml/llmd完全在Metal上运行,以完整bf16精度服务8个并发请求 zml/llmd是我们的大语言模型服务…
摘要
zml/llmd现已完全在Apple的Metal API上运行,以完整bf16精度服务8个并发请求,并支持连续批处理等现代功能。
又是5天后,zml/llmd完全在Metal上运行,以完整bf16精度服务8个并发请求
zml/llmd是我们的大语言模型服务软件,具备所有现代便利功能(连续批处理等)
附注:“完整bf16”,活在这个时代真好 https://t.co/UtSae5UvNj
查看缓存全文
缓存时间: 2026/06/13 14:17
又过了5天,zml/llmd 已在 Metal 上完全运行,以完整的 bf16 精度同时服务 8 个请求。
zml/llmd 是我们的 LLM 服务软件,具备所有现代化功能(连续批处理等)。
附注:“完整的 bf16”,真是生逢其时啊。 https://t.co/UtSae5UvNj
相似文章
我在Mac上使用Siri AI的头24小时
The Verge在macOS 27 Golden Gate测试版上使用Siri AI的头24小时,发现它仍然有限,但在启动应用等基本任务上展现了潜力,同时缺乏更深层次的应用集成。
Apple 使用 Swift:迁移 TrueType Hinting 解释器
Apple 将 TrueType Hinting 解释器从 C 语言迁移到 Swift,实现了内存安全并提升了 13% 的性能。源代码已开源。
Siri现在好用了吗??
The Vergecast讨论了Apple更新的Siri AI的早期体验,它似乎有了显著改进且功能正常,有可能改变AI助手的格局。
你终于可以远程启动Mac了
苹果在macOS 26.5中新增了一项功能,允许2024年及以后推出的Mac在接通电源时自动启动,无需按下物理按钮即可远程开机——对远程实验室、CI环境以及像移动箱式设备这样的移动设置非常有用。
Siri 不会成为你的 AI 女友
苹果公司的 Craig Federighi 解释说,Siri AI 被设计为避免谄媚行为,不会扮演浪漫伴侣的角色,这与 OpenAI、谷歌等其他聊天机器人形成对比。