@jun_song：正在尝试将 Kimi-K2.6 (1T) 适配到 128GB Mac 上。目标是达到 40tok/s，并尽可能减少质量损失。

X AI KOLs Timeline 新闻
local-ai llm-inference mac-hardware kimi model-optimization

摘要

一位开发者正在优化 Kimi-K2.6 (1T) 模型，使其能在 128GB Mac 上高效运行，目标速度为 40 tok/s，同时尽可能降低质量损失。

正在尝试将 Kimi-K2.6 (1T) 适配到 128GB Mac 上。 目标是达到 40tok/s，并尽可能减少质量损失。
查看原文
查看缓存全文

缓存时间: 2026/05/11 12:42

正在尝试将 Kimi-K2.6 (1T) 适配到 128GB Mac 上运行。

目标是达到 40 tok/s 的推理速度，并尽可能降低质量损失。

相似文章

使用29 GB内存以0.50 tok/s运行Kimi K3

Hacker News Top

WASTE是一个新的开源C语言推理引擎，它从磁盘流式加载专家权重，在仅29 GB内存的消费级笔记本电脑上运行拥有2.78万亿参数的Kimi K3模型，实现了0.49–0.54 tokens/s的速度。