标签
本文从头训练了五个GPT-2风格模型，比较了针对泰米尔语、泰卢固语、卡纳达语和马拉雅拉姆语的专用单语模型与一个联合多语言模型，发现单语模型在情感分类和命名实体识别上优于mGPT，且分词器更高效。
Andrej Karpathy 发布了 nanochat，一个极简的 LLM 训练框架，只需约 48 美元就能训练出 GPT-2 级别的模型，涵盖预训练、微调和强化学习全流程，代码量极少且完全透明。
一个后续项目，将GPT-2的32,070个词元可视化为一棵位于庞加莱球中的交互式双曲树，允许用户在嵌入空间中飞越。
本文研究了GPT-2 Small在词元“特朗普”周围的嵌入几何，比较了离散化与连续最近邻方法，以理解表征结构。
本文研究了在不可能语言（信息局部性被破坏）上预训练的GPT-2模型如何恢复自然英语，显示出对更短依赖长度的偏好以及结构恢复与表层恢复之间的分离。
BABEL 编解码器实现了对 GPT-2 small 内部状态的首次完整解码，重构了其 94.7% 的行为，并支持用英语读写模型，同时提供开源资源和演示。
本文介绍了Manifestation Units，这是一种类型化元组协议，用于将机制可解释性分析中的每个组件的统计量组织成结构化、可查询的字段。该协议在视觉（β-VAE、CNN）和语言（GPT-2）模型上进行了演示，展示了改进的检索和因果充分性。
本文从因果中介分析重新推导激活修补，揭示自然间接效应（NIE）不仅捕捉组件的因果效应，还捕捉与其他组件的交互效应。文章在GPT-2 IOI电路中展示了这些隐藏交互，并论证它们是一种诊断工具而非干扰。
NanoEuler 是一个完全用纯 C/CUDA 从头构建的 GPT-2 规模语言模型，不依赖任何机器学习库，包括手写的前向/反向传播、字节级 BPE 分词器和训练流水线。该项目是一个教育示范，展示了 Transformer 训练背后的工程原理，可在单个 RTX 4070 上运行。
本文认为当前世界模型缺乏持久状态核心，提出一种混合方法，通过η-伪酉算子动力学添加时间因果结构，将预训练的GPT-2转化为时间推理模型。
本文探讨了语言模型能否独立发现零的概念，作为分布外泛化的一种形式。研究发现，GPT-2大小的模型在测试时无法做到，但通过零的示例训练后会有显著提升，并且语言预训练减少了所需示例的数量。
本文研究了使用η-伪幺正算子动力学将预训练的GPT-2转换为时间推理模型，提供了数学基础以及在PT对称性破缺转变和可逆/不可逆序列方面的关键发现。
提出了 MechRL，一种利用强化学习自动发现 transformer 语言模型中电路的方案。经过多任务训练的 PPO 代理发现了与已知典型电路匹配的注意力头电路，并能泛化到一项保留任务上。
一位开发者构建了AXON，该工具利用稀疏自编码器将GPT-2的内部概念激活可视化为实时3D力导向图，使用户能够在令牌生成前看到可解释特征的激活情况。
MAX-LLM 书籍现在提供交互式 Jupyter 笔记本，逐步指导用户使用 MAX 框架从零开始构建完整的 GPT-2 实现，使用户能够探索张量形状、运行组件并生成文本。
arXiv预印本在GPT-2 Small与Llama 3.2中定位编码刻板印象的神经元与注意力头，显示偏见集中在少数神经元子集，但消融它们几乎无法减少带偏文本生成。