form-invariance

本文研究了LLM中的算术启发神经元在符号算术、自然语言文字题和Python代码中是否具有形式不变性。通过激活修补，他们发现了一个共享的神经元回路，该回路对于算术计算是必要且充分的，并且跨格式失败源于激活状态而非不同的回路。