标签
本文介绍了一种受生物学启发的神经架构，该架构遵循Dale约束——神经元和突触具有固定符号——同时仍支持使用非负误差信号和局部Hebbian更新的类反向传播学习，并在Tiny ImageNet上取得了性能提升。
本文研究了稀疏8层Python Transformer中的神经回路，发现针对106个编程概念存在专用回路，并将其分解为概念特异性和令牌驱动组件，这对理解代码模型中的结构编码具有重要意义。
本文研究了LLM-as-a-judge的内部机制，发现模型在中期到后期的多层感知机（MLP）中共享一个稀疏的潜在评估器子图，该子图处理抽象评判，而格式特定的终端分支将评判映射到输出令牌，揭示了格式导致的不一致性的原因。