标签
该论文研究代码语言模型中对 Python 的默认偏好是否由可定位的因果电路产生，通过 55 个模型-语言设置的消融、激活修补和电路提取实验发现，偏好是否显得局部化取决于探针选择与组件预算，并呼吁报告分析选择。
本文探究预训练代码模型是否在其隐藏状态中编码了类型信息，通过对Java和Python示例使用线性探针进行研究。结果表明，即使是从无类型代码中也会出现跨语言的类型表示，并且这些表示对词汇扰动和句法变化具有鲁棒性。
本文介绍了Code2LoRA，一种基于超网络的方法，用于生成代码语言模型的适配器，以应对软件演化中的挑战。
本文研究了稀疏8层Python Transformer中的神经回路，发现针对106个编程概念存在专用回路，并将其分解为概念特异性和令牌驱动组件，这对理解代码模型中的结构编码具有重要意义。