llm-monitoring

作者分享了一种构建外部LLM漂移检测系统的方法论，该系统持续探测模型行为（模式遵循、指令遵循、拒绝率等），以捕捉API性能的静默退化，并邀请对方法、定价和用例的反馈。

一位开发者分享了他们的经历：一个系统提示的修改导致LLM回答质量下降，却没有触发传统的监控告警，并介绍了他们为监控生产环境中LLM应用的语义质量而构建的内部工具。

开发者构建了 Arc Gate——一款基于 Fisher 信息流形几何的 LLM 监控代理，可在会话层面检测提示注入攻击，通过追踪 t 值相对相变阈值 t*=1.2247 的变化，识别 Crescendo 式渐进操控，而非逐句关键词匹配。