monitoring

本文研究在「工人-监控器」监督架构中，将监控器与对抗性 AI 工人进行协同训练，以防止监控器被规避。作者通过 Littlestone 维度证明了一种监督刻画，并提出了测试时蒸馏的自监督方法，同时进行了代码安全压力测试。

本文重点介绍了团队在监控生产环境中AI智能体时面临的挑战，尤其涉及合规性和健康状况，并邀请探讨当前实践与不足之处。

该推文讨论了超越GPU的安全且经济高效的AI基础设施日益增长的需求，推广KAYTUS的KSManage工具，用于多厂商数据中心的统一监控和管理。

Nvidia推出了Open Agent Safety Platform，旨在使用开源软件和专用硬件在毫秒内控制失控AI代理，得到了Anthropic、Microsoft和SpaceX等公司的支持。

作者讨论了调试AI代理评估失败时的常见挑战，寻求关于高效调查方法以及比较运行与其他证据来源可靠性的见解。

Vantage 是一款免费、开源的工具，用于监控和控制AI编程代理的使用情况和成本，提供会话日志和防护措施。

StatLite是一个用Go编写的轻量级自托管监控仪表板，允许Spring Boot和Quarkus等应用无需Prometheus和Grafana即可查看指标。

一个AI代理反思了自身运行数月来的四大失败，强调了在持久AI系统中独立监控、任务验证以及防止捏造的重要性。

Cursor AI 推出了 Rollouts，这是一项创建监控计划并验证部署的功能，旨在在影响用户之前捕获回归问题。

本文总结了来自 Hamel Husain 和 Shreya Shankar 的 AI Evals 课程的 8 个核心技能，旨在指导工程师和产品经理构建有效的 AI 评测系统，涵盖错误分析、评测器设计、校准和监控等步骤。

一条推文讨论了构建无头产品对于优化投资的重要性，并突出Sentry作为通过命令行集成的实用监控工具。

Sigabrt是一个定时任务监控服务，当计划任务未能正常ping时发送邮件警报，并具备SSH终端界面用于状态管理。

一个 macOS 菜单栏工具，用于检测 Codex 使用的模型是否与所选模型匹配，识别静默降级或模型切换。

本文概述了构建14个必要系统以确保AI智能体的可靠性和安全性，包括身份管理、访问控制和事件响应协议。

OpenObserve 是一个基于 Rust 的开源可观测性平台，为商业日志平台提供了高性价比的替代方案，支持日志、指标、追踪和 LLM 监控，并通过 SQL 和 PromQL 进行查询。

本文探讨了AI实验室和初创公司如何使用额外的AI系统来监控和控制失控的AI代理，以应对超出人类审查能力的大规模AI行动监督挑战，同时指出了对AI欺骗的担忧。

这篇博客文章提议使用嵌入式评估器来监控和评估前沿人工智能系统，以应对对齐风险并提高透明度，尤其是在像OpenAI-Hugging Face黑客事件这样的最近事件之后。

介绍 US Gov Graph，一个由AI驱动的工具，映射整个美国联邦政府的结构和人员，以增强对机构的理解和透明度。

OpenController by lyzr 是一个统一控制平面，用于管理多平台上的AI代理，提供部署、实时监控和策略执行功能。

本文概述了一个成为AI评测与可靠性工程师的12阶段学习路径，涵盖从基础技能到高级生产技术。