标签
本文讨论了AI代理如何常常通过错误地完成任务而不崩溃，悄无声息地失败，导致未被检测到的错误。它强调了常见的失败模式，并探索了潜在的检测策略。
讨论关于 ML 团队是否真的在生产中测试模型安全风险（如提取和投毒），并指出模型的安全审查落后于常规软件。