diagnostic-methods

标签

Cards List
#diagnostic-methods

## 关键词式防护失效时会默认放行:为小语言模型的工具调用声明搭建低成本诊断阶梯 > **Keyword Harnesses Fail Open** — 关键词式防护(Keyword Harness)在防护逻辑本身失效时,往往不是「报错并停止」,而是「默认放行(fail open)」。因此,用关键词命中作为判据,会系统性地夸大小型语言模型的工具调用能力。本文提出一条**低成本诊断阶梯**:从最廉价的静态检查开始,逐级加码,逐步剥离关键词与提示词泄漏造成的假象,最终判定模型究竟是否真的在调用工具——以及它是否只是在复述关键词。

Hugging Face Daily Papers ↗ · 2026-10-01 缓存

论文表明,关键词匹配基准测试可能会将小语言模型并不具备的工具使用能力归功于它们;文章记录了一例针对同架构西班牙语安全 LLM 的误报,并提出了一种成本低廉的诊断阶梯,以及一份有针对性的 SFT 配方,用于修复出问题的 1B 模型。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈