标签
Oberik 是一个免费的后端和SDK，旨在解决构建AI代理系统时常见的基础设施挑战，例如文档处理、多租户和安全性，现在开放给开发者进行测试和反馈。
Verity 是一个新的开源、权限感知的多租户 AI 代理记忆层，它通过在检索查询中直接强制执行访问控制（而不是依赖模型行为）来防止跨租户数据泄露。
这篇 AWS 文章概述了多租户 SaaS 架构的五个最佳实践，重点介绍了通过 IAM 实现租户隔离、按租户成本归属，以及合规性证据，以帮助 ISV 通过企业采购审查。
HeraSys是一个协同式LLM服务系统，通过消除跨工作流的计算冗余并采用负载感知的联合调度，优化并发工作流的端到端性能，实现了高达2.17倍的P99延迟降低和1.85倍的吞吐量提升。
Animam是一个多租户AI代理平台，允许机构通过小部件、API、语音和MCP为客户部署个性化AI代理。该构建者希望从生产用户那里获得对其基础设施方法的反馈。
JoyNexus提出了一种用于多租户VLA模型后训练的统一服务，将训练、推理和环境服务解耦，采用共享基础模型和租户专属插槽，通过分组批处理和调度提高效率。
This paper introduces Cost-Governed RAG, an architecture combining a codebook-oblivious vector index (TurboVec) with a multi-tenant LLM governance gateway to enable per-tenant cost attribution across retrieval and generation, achieving 99.96% attribution accuracy with minimal overhead.
Helicone 实现了一项名为 HQL 的功能，允许客户针对共享的 ClickHouse 数据库编写原始 SQL 查询。他们利用 ClickHouse 的行策略和自定义设置来实施多租户隔离，确保每个组织只能看到自己的数据。
分享Google Cloud多租户智能体AI系统参考架构的5个核心要点，对独立开发者和小团队生产化Agent有启发。
AWS Lambda 宣布推出 MicroVMs，这是一种新的无服务器计算原语，提供隔离、有状态的执行环境，具备虚拟机级别的隔离和近乎瞬时的启动，由 Firecracker 驱动。
文章回顾了OpenClaw Agent框架的设计亮点与不足，并阐述了作者设计更好的Agent框架FastClaw的经验总结，强调云原生、轻量、多租户等原则。
作者构建了一个开源、MIT许可的AI代理创建和管理平台，具备提供商无关支持、MCP集成、记忆、技能、定时触发器和看板功能，可通过Docker Compose部署。
EvalStop是一种用于多租户RLHF平台的调度原语，通过监控下游评估分数并在连续下降时终止作业来检测和修正奖励过度优化，实现了98%的精确率和99%的召回率，同时将作业完成时间缩短9%，并将浪费的计算资源减少22%。
为期一年的反思：为真实服务企业部署AI代理的难点在于，基础设施和边缘情况远比AI层本身更重要。
文章警告，在多租户AI智能体中使用仅具有逻辑隔离（元数据过滤器）的共享向量数据库可能会在无声无息中引发数据泄露，并提倡为每个用户提供物理隔离以确保零数据泄漏。
Corsair 是一个开源产品集成平台，提供统一语法来连接各种第三方API，适用于智能体、后端服务和用户仪表板。