representation-auditing

标签

Cards List
#representation-auditing

Softmax丢弃了什么:用于证据积累的Mass-Aware注意力

arXiv cs.LG ↗ · 2026-07-28 缓存

本文提出了Mass-Aware Attention(MAA),这是标准注意力归一化的一种泛化,通过在重复情况下以不同速率缩放分子和分母来保留证据积累信息,从而提高了表示的信息量,并在时序图及其他领域提升了任务性能。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈