llm-monitoring

标签

Cards List
#llm-monitoring

一行系统提示修改将模型质量从84%降至52%。人们在生产环境中如何监控语义质量?

Reddit r/AI_Agents · 5天前

一位开发者分享了他们的经历:一个系统提示的修改导致LLM回答质量下降,却没有触发传统的监控告警,并介绍了他们为监控生产环境中LLM应用的语义质量而构建的内部工具。

0 人收藏 0 人点赞
#llm-monitoring

大多数注入检测器逐条打分,我做了个追踪完整会话几何轨迹的,这是实测结果

Reddit r/artificial · 2026-04-20

开发者构建了 Arc Gate——一款基于 Fisher 信息流形几何的 LLM 监控代理,可在会话层面检测提示注入攻击,通过追踪 t 值相对相变阈值 t*=1.2247 的变化,识别 Crescendo 式渐进操控,而非逐句关键词匹配。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈