"Strata" GLM5.3 Flash 已向部分用户开放！Project Maya

我偶然发现了这个项目，因为我之前运行 GLM5.3 Flash 只能达到大约 10 tokens/s，基本没法用。用了 Maya 之后，我现在能跑到 30 tokens/s。感觉即使在这个低量化下，GLM5.3 的体验也比 qwen 3.8 flash 好得多，目前还在测试中。这非常令人兴奋，让更多人能够运行 GLM5.3 Flash。https://github.com/mw00/project-maya Project Maya — 在你自己的 GPU 上运行 3210 亿参数的 AI 模型 GLM-5.3-Flash，私密且快速 · 一块 NVIDIA GPU 或最多 16 块 · AMD 和 Windows（实验性支持）· 聊天、图片、OpenAI 和 Anthropic 兼容 API 这种规模的模型通常需要数据中心才能运行。Maya 可以在你已有的硬件上运行 GLM-5.3-Flash（zai-org，MIT 许可证）：321B 参数，每个 token 约 18B 激活参数，上下文长度最高可达 1M tokens。它的引擎专为这一个模型构建。它会将你对话中最常用的专家模型保留在 GPU 上，次常用的放在 RAM 中，其余的放在你的 NVMe SSD 上，并在你聊天时动态调度。它会自动检测你的 GPU、CPU、RAM 和 SSD，并据此自动调优。所有数据都不会离开你的机器。 快速：在四块 RTX 4090 上最高可达 118 tokens/s，单块 RTX 5090 上可达 30+ tokens/s。下方是真实用户的真实数据。 接近原始精度：Maya 自有的量化保持了 FP8 模型 97.7%-99.2% 的零样本准确率。 轻松接入你的工具：兼容 OpenAI 和 Anthropic 的 API，支持工具调用，可直接用于编程智能体。 开箱即用：浏览器内置聊天界面和实时监控、图片生成、思考深度调节、一条命令完成安装。