MeshFlow:在任何本地模型上运行受治理的多智能体工作流——Ollama、LiteLLM、Bedrock——带有成本上限和审计追踪 [开源]

Reddit r/AI_Agents 工具

摘要

MeshFlow 是一个开源框架,用于在任何本地或自托管模型上运行受治理的多智能体工作流,支持成本上限、审计追踪和沙盒模式。

嘿,我构建了一个框架,支持你本地或自托管的任何模型。没有供应商锁定,也不需要强制使用 API 密钥。 ```python from meshflow import Agent, Workflow, CostCap # 本地 Ollama — 无需 API 密钥 researcher = Agent(name="researcher", model="llama3.2") analyst = Agent(name="analyst", model="mistral") writer = Agent(name="writer", model="llama3.1:70b") wf = Workflow(cost_cap=CostCap(usd=0.00)) # 本地 = 零成本 wf.add(researcher, analyst, writer) result = wf.run("Write a technical analysis of transformer attention mechanisms") ``` 支持以下模型: - **Ollama** — `model="llama3.2"`、`model="mistral"`、`model="codellama"` 等 - **LiteLLM** — `model="groq/llama-3.1-70b"`,以及 100+ 个模型 - **AWS Bedrock** — `model="anthropic.claude-v2"` - **Azure OpenAI** — 你自己的端点 - **任何兼容 OpenAI 的端点** — `OpenAICompatibleProvider(base_url="...")` 完全沙盒模式用于本地测试:完整的运行、完整的追踪、零模型调用: ```python wf = Workflow(mode="sandbox") result = wf.run("test this workflow") # 完整的审计追踪、零模型调用、零成本 ``` 治理层(审计链、成本上限、合规策略、防护机制)无论你使用哪个模型都完全一致。HIPAA 合规强制执行不关心你运行的是 Llama 还是 Claude。 ```bash pip install meshflow pip install "meshflow[full]" # 添加 Bedrock、Gemini、LiteLLM ```
查看原文

相似文章

为错误买单,而非为流程买单:免标签的流内多智能体工作流优化

Hugging Face Daily Papers

论文提出了 InFlowOp,一种免标签的多智能体 LLM 工作流构建与优化方法:它用统一成本为每个智能体分配定价,在智能体能力与执行成本之间取得平衡;同时引入 Braid 基准,用于评估工作流级别的多智能体协作能力。在多个领域和不同骨干模型上,InFlowOp 相比单智能体基线最高提升 11.97%,在流内优化中实现 9.64% 的增益。

MoFlow:多目标智能体工作流生成

arXiv cs.AI

MoFlow 将智能体工作流生成建模为多目标 MDP,并通过带集合值回溯的凸包蒙特卡洛树搜索(Convex-Hull Monte Carlo Tree Search)求解,覆盖帕累托前沿,使工作流无需重新训练即可按任意偏好检索。在数学、代码和问答基准测试上,其超体积(hypervolume)指标优于六个基线方法。

DynaFlow:学习自由形式的多智能体编排

Papers with Code Trending

DynaFlow 提出了一种框架,使主智能体能够合成可执行工作流以自适应地协调子智能体,在六个基准测试中以 Qwen3.5-27B 为主干模型达到 88.08% 的准确率,较基线提升 10.90 个百分点。

Mesh LLM:基于iroh的分布式AI计算

Hacker News Top

Mesh LLM 是一个分布式AI计算平台,它聚集多台机器上的闲置GPU来运行大型语言模型,并暴露单一的OpenAI兼容API。该平台利用iroh的点对点网络,实现无需中央服务器的私有、去中心化推理。