@mitsuhiko:太棒了!@antirez 已将我的工具参数流式传输修改合并至 ds4。这意味着你现在只需安装 pi 扩展就能……
摘要
开发者 mitsuhiko 发布了一款开源 Pi 扩展,可与 ds4 深度集成,大幅简化在 macOS 本地运行 DeepSeek V4 Flash 的流程。该工具实现了模型自动下载、依据内存容量智能选择量化版本以及服务器全生命周期管理,为本地 LLM 提供开箱即用的流畅体验。
查看缓存全文
缓存时间: 2026/05/09 03:42
太棒了!@antirez 已将我的工具参数流式处理(parameter streaming)提交合并至 ds4。这意味着你现在只需安装该 pi 扩展,即可开箱即用 ds4 的出色体验。我已将扩展迁移至独立仓库。你“仅需要”一台配备 128GB 内存的 Mac 即可运行。https://t.co/DuOLrddPSi
mitsuhiko/pi-ds4
来源:https://github.com/mitsuhiko/pi-ds4
pi-ds4
用于在本地运行 antirez/ds4 (https://github.com/antirez/ds4) 作为 DeepSeek V4 Flash 模型的 Pi provider 扩展。此项目的目标是探索围绕本地模型所能实现的最佳用户体验(UX)与交互行为。
该扩展会注册 ds4/deepseek-v4-flash 模型,按需启动 ds4-server,根据需要下载或构建运行时环境,为每个 pi 进程维护租约,并在无客户端连接时通过内置的守护程序(watchdog)停止服务器。
依赖要求与行为表现
你需要至少配备 128GB 内存的 Mac。目前的逻辑设定为:若内存为 128GB,系统将安装 2-bit 量化模型;若内存达到 256GB 或以上,则会选用 4-bit 量化模型。
如果你已登录 Hugging Face,系统将调用你的 Token 以实现更快的下载速度。服务器会在首次使用时自动编译/启动,模型也会同步自动下载。
安装
pi install https://github.com/mitsuhiko/pi-ds4
若需从当前代码库进行本地开发,请传入一个已有的 ds4 server 代码库路径:
./install-pi-extension-local.sh /path/to/antirez-ds4-checkout
如果 ~/.pi/ds4/support 已存在且指向其他位置,请使用 --force 参数将其移开,并为传入的路径创建符号链接。任何现有的 gguf/*.gguf 模型文件(以及支持断点续传的 .gguf.part 下载片段)都会优先迁移至新克隆的代码库中。在 macOS 环境下,系统将尽可能采用 APFS 写时复制(clone-on-write)机制以提升效率。
随后重启 pi 或执行 /reload 命令即可。
运行时目录结构
运行时状态保存于 ~/.pi/ds4 目录下:
support/—https://github.com/antirez/ds4的浅层克隆(默认为main分支)kv/— 磁盘 KV 缓存clients/— 活跃的 pi 进程租约log— 构建/下载/服务器/守护程序日志
守护程序(watchdog)已内置于此包中(ds4-watchdog.sh),无需也不预期存在于 ds4 运行时克隆的代码库内。
配置
环境变量覆盖项:
DS4_SUPPORT_REPO: 运行时仓库 URL(默认https://github.com/antirez/ds4)DS4_SUPPORT_BRANCH: 运行时分支(默认main)DS4_RUNTIME_DIR: 使用已有的 ds4 克隆路径,替代默认的~/.pi/ds4/supportDS4_MODEL_QUANT: 强制指定q2或q4(未指定时将根据系统内存自动选择)DS4_READY_TIMEOUT_MS: 服务器启动超时阈值DS4_SERVER_BINARY: 自定义ds4-server二进制文件路径
在 pi 内部使用 /ds4 即可查看实时的 ds4 日志输出。
相似文章
@ttasanen: 刚刚在我的 Mac Studio M3 Ultra 256GB 上运行了 @antirez 开发的 DS4,天哪,真的令人印象深刻。一个简洁、专为……
DS4 是由 antirez 开发的专业推理引擎,专为在高端 Mac 硬件上本地运行 DeepSeek V4 Flash 而设计,具有优化的 KV 缓存处理和 100 万上下文支持。
关于 DS4 的几句话
Antirez 宣布了 DwarfStar 4 (DS4),这是一个本地AI工具,它采用非对称 2/8 位量化,在高端消费级硬件上运行 DeepSeek v4 Flash,实现接近前沿的性能。他谈到了该项目的迅速流行、未来的模型更新和分布式推理计划,以及本地AI对严肃任务的重要性。
DS4
Salvatore Sanfilippo 发布了 DS4 项目,使 DeepSeek V3(文中称为 V4)Flash 能够在 Mac Metal 硬件上运行 100 万(1M)上下文窗口,并有望支持 DGX 和 AMD 芯片。
@ivanfioravanti: 给那些想知道在 M5 Max 上本地运行 ds4-agent 并使用 DeepSeek V4 Flash q2-imatrix gguf 模型意味着什么的人…
演示在 M5 Max 上本地运行 ds4-agent 并使用 DeepSeek V4 Flash q2-imatrix gguf 模型,展示了自我更新能力以及与 HF_HOME 的集成以用于 gguf 模型。
Metal 上的 DeepSeek V4 Flash 本地推理引擎
ds4 是一款专为 Apple Silicon 优化的 DeepSeek V4 Flash 本地原生推理引擎,支持基于磁盘的 KV 缓存持久化和 Metal 加速。