标签
作者在Gmail上进行了实验，通过OAuth连接AI代理，发送了经过混淆的提示注入邮件。前沿模型有时能捕捉到攻击，而廉价模型则默默执行，揭示了代理安全很大程度上取决于模型成本和令牌预算，而非架构安全措施。
本文介绍了开源AI模型路由工具New-API自2023年4月发布以来的发展情况，指出其已占据市面上超90%的中转站份额，并探讨了该工具的核心开发者贡献与底层路由算法。
本文介绍了 Switchcraft，这是首个专为智能体工具调用优化的 AI 模型路由器，旨在降低推理成本。通过使用轻量级的 DistilBERT 分类器，它在保持高工具使用准确性的同时，实现了显著的成本节约。
本文描述了一家企业如何实现向自我优化 LLM 技术栈的转型。该系统利用生产环境中的调用追踪数据，自动路由请求并微调模型，从而显著降低了成本并提升了性能。
这篇文章讨论了本地AI模型在日常任务中日益增长的可行性，暗示了向混合架构的转变，这种架构优化成本和延迟，而不是仅仅依赖前沿的云模型。