开发了一个 VRAM 调度器（vramble），用于在我的本地 AI 工作站上自动切换模型

Reddit r/LocalLLaMA 工具
vram-management model-swapping local-ai open-source gpu-scheduling

摘要

作者构建了开源工具 vramble，作为请求调度层自动在本地 AI 工作站上加载/卸载模型并管理队列，解决了多个模型争抢 VRAM 的问题。项目以 MIT 许可证在 GitHub 上开源，欢迎贡献。

我搭建了一台专用工作站，用各种模型和工具进行本地 AI 实验。但它们每一个都想占满所有可用的显存。为了解决这个问题，我开发了一个名为 vramble 的请求调度层。它会自动加载和卸载模型，并通过优先级系统管理队列。现在，我可以运行不同的工作流，无需手动管理模型（也不用浪费 Claude 的 token 来协调这个过程）。欢迎任何贡献，它在我的机器上能用，但毕竟是刚开发出来的，所以无法保证在任何机器上都能直接运行。顺带一提：Qwen 27B 以每秒 200 多个 token 的速度运行，表现比我预期的好得多。opeMIT 许可证，已在 GitHub 上发布：github.com/ValerioDolci/vramble
查看原文

相似文章

本地 AI 多智能体群集

Reddit r/AI_Agents

作者探讨了一种面向本地受限硬件（<6GB VRAM）的解耦式多智能体架构：用单个中等规模推理模型作为编排者，配合多个 1-3M 参数的 CPU 端「纳米模型」处理高频例行任务，仅在低置信度时向上升级，实现零云、空气隔离的边缘优先系统。