mlp

本文从理论上阐述了Transformer中的MLP如何以信息论最优速率存储事实，并提供了一种闭式构造方法，该方法以远少于先前方法的参数实现最优存储容量，并支持模块化事实编辑。

本文提出了一个严格的理论框架，用于多层感知机的对抗鲁棒性，通过将问题简化为格遍历，引入了具有形式化保证的可靠且完备的区间认证。

Talos-XII 是一个专为《明日方舟：终末地》抽卡系统设计的命令行模拟器，完全用 Rust 构建，带有自定义自动求导引擎和小型 RL/MLP 堆栈（无外部机器学习框架）。它使用神经网络进行环境建模和抽卡决策策略，并包含复杂的 SIMD 调度和一个名为 ACHF 的自适应缓存开放实验。

本文指出，从神经网络权重中可见的几何对称性取决于位置编码和读出可观测量，并通过在多个对称群下训练二维符号距离函数的MLP进行了验证。

Aurora是一种杠杆感知的谱优化器，通过强制执行行均匀性同时保留Muon更新的极因子几何结构来解决MLP层中的神经元死亡问题，在modded-nanoGPT speedrun基准上实现了最先进的性能。

宣布一篇关于数学对称性的 arXiv 笔记，该对称性将经典MLP与Gated MLP连接起来，超越了经验性能。

本文介绍了Tapered Language Models (TLMs)，一种架构原则，将更多参数分配给早期层，更少分配给后期层，在不增加额外成本的情况下，持续改善多种架构的困惑度和下游性能。

介绍了一种高分辨率 Neural Cellular Automata，它运行在粗网格上，并使用 Local Pattern Producing Network 生成高分辨率输出，从而实现高效的程序化生成。

宣布性能分析教程的第2部分，涵盖线性层追踪、gemm epilogues、MLP追踪以及torch compile与Liger内核的对比，并附有完整内容的链接。

本文介绍了一种技术，该技术从LLM的最后一个提示标记处提取隐藏状态，无需文本生成即可进行分类，使用一个小型MLP读取模型的内部决策，从而实现快速且廉价的零样本分类器。

本篇博文继续 PyTorch 性能分析系列内容，探讨 nn.Linear、MLP 块以及使用 Triton 内核的融合技术，以优化性能。

本文系统地探索了混合 KAN 和 MLP 架构用于基于 IMU 的人类活动识别，相比纯 MLP 基线实现了 5.33% 的平均宏 F1 改进。

Nous Research 发布了对比神经元归因（CNA），这是一种通过识别和消融MLP神经元中稀疏电路来引导LLM行为的方法，无需训练稀疏自编码器或降低通用基准性能，已在多个大型语言模型上得到验证。

NousResearch 发布了对比神经元归因（CNA），该方法通过消融稀疏的 MLP 电路来引导 LLM 行为，无需训练稀疏自编码器或降低基准测试性能，并在多达 70B 参数的模型的拒绝电路上验证了有效性。

本文识别了在80亿参数语言模型中语言切换后门的底层电路，其中三个词的拉丁触发器通过注意力头和正交潜在子空间将英语输出重定向为法语，最后一层的MLP将潜在信号转换为法语logits。

本文通过Lyapunov谱分析发现，MLP和注意力谱范数之间的比率能够预测Transformer模型的几何稳定性，最优范围在0.5–2之间，可防止秩坍缩。

本文识别出大型语言模型（LLM）中极端激活现象产生并传播的“大规模涌现层（Massive Emergence Layer）”，并提出一种缓解其僵化性、提升模型在数学推理和指令遵循等任务上性能的方法。