transformer-attention

标签

Cards List
#transformer-attention

通过动态语义路由校准缓解LLM过度拒绝

arXiv cs.CL ↗ · 2天前 缓存

本文对LLM的过度拒绝进行机制分析,并提出语义路由校准(SRC),这是一种轻量级、无需训练的推理框架,用于动态抑制过度敏感的安全头,缓解过度拒绝,同时保持内在安全。

0 人收藏 0 人点赞
#transformer-attention

Stiefel注意力机制:当Transformer投影矩阵的几何特性决定优化器选择时——以及不决定时

arXiv cs.LG ↗ · 2026-09-18 缓存

本文提出Stiefel注意力机制,通过黎曼优化将Transformer查询与关键投影矩阵约束于Stiefel流形上,实验证明该方法在模运算格罗金现象与CIFAR-10图像块任务中均展现出性能提升。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈