soliton

#soliton

@snowboat84: 继续讨论物理模型在AI中的运用。今天的Transformer靠attention让序列里不同位置的信息相互作用，但这种混合极有可能是有损、不可逆的。独立的各份信息混着混着就糊了、丢了，也无法从结果精确倒推回输入。我们想要的是另一种相互作用…

X AI KOLs Timeline ↗ · 2026-07-04 缓存

作者讨论Transformer注意力机制导致信息有损和不可逆的问题，提出借鉴孤立子传播的物理模型，设计一种可逆、零损耗的相互作用层，作为对现有AI模型结构的改进方向。

0 人收藏 0 人点赞