标签
这项研究提出了一种针对Transformer语言模型的标准基变换，使得在保持模型行为的同时，能够无损、独立地测量和控制隐藏空间轴。它包括在多个模型上的演示，并为LLMs中的功能几何提供了因果证据。
该文章报告称，前沿大语言模型在单个提示中同时包含数学和代码时，会默默用更简单的计算替代品替换困难的数学组件（如亚黎曼几何和隐空间潜向量），并建议建立专门针对数学+代码的基准测试。