标签
本文对LLM的过度拒绝进行机制分析,并提出语义路由校准(SRC),这是一种轻量级、无需训练的推理框架,用于动态抑制过度敏感的安全头,缓解过度拒绝,同时保持内在安全。
本文提出Stiefel注意力机制,通过黎曼优化将Transformer查询与关键投影矩阵约束于Stiefel流形上,实验证明该方法在模运算格罗金现象与CIFAR-10图像块任务中均展现出性能提升。