MeshFlow:在任何本地模型上运行受治理的多智能体工作流——Ollama、LiteLLM、Bedrock——带有成本上限和审计追踪 [开源]

Reddit r/AI_Agents 工具

摘要

MeshFlow 是一个开源框架,用于在任何本地或自托管模型上运行受治理的多智能体工作流,支持成本上限、审计追踪和沙盒模式。

嘿,我构建了一个框架,支持你本地或自托管的任何模型。没有供应商锁定,也不需要强制使用 API 密钥。 ```python from meshflow import Agent, Workflow, CostCap # 本地 Ollama — 无需 API 密钥 researcher = Agent(name="researcher", model="llama3.2") analyst = Agent(name="analyst", model="mistral") writer = Agent(name="writer", model="llama3.1:70b") wf = Workflow(cost_cap=CostCap(usd=0.00)) # 本地 = 零成本 wf.add(researcher, analyst, writer) result = wf.run("Write a technical analysis of transformer attention mechanisms") ``` 支持以下模型: - **Ollama** — `model="llama3.2"`、`model="mistral"`、`model="codellama"` 等 - **LiteLLM** — `model="groq/llama-3.1-70b"`,以及 100+ 个模型 - **AWS Bedrock** — `model="anthropic.claude-v2"` - **Azure OpenAI** — 你自己的端点 - **任何兼容 OpenAI 的端点** — `OpenAICompatibleProvider(base_url="...")` 完全沙盒模式用于本地测试:完整的运行、完整的追踪、零模型调用: ```python wf = Workflow(mode="sandbox") result = wf.run("test this workflow") # 完整的审计追踪、零模型调用、零成本 ``` 治理层(审计链、成本上限、合规策略、防护机制)无论你使用哪个模型都完全一致。HIPAA 合规强制执行不关心你运行的是 Llama 还是 Claude。 ```bash pip install meshflow pip install "meshflow[full]" # 添加 Bedrock、Gemini、LiteLLM ```
查看原文

相似文章

结构化工作流与小规模本地模型的力量

Reddit r/LocalLLaMA

作者详细介绍了使用小型本地模型(Qwen3.5 9B)结合结构化工作流和map-reduce模式来管理上下文限制、构建自定义智能体循环的经验,并已用其取代Claude Code处理大部分任务。