标签
本文研究神经网络的精确认证问题,表明即使在最小过参数化下,认证对于深度≥2的阈值电路和对数精度Transformer也可能变得指数级困难。它还描述了近似认证,揭示了允许多项式级错误仍然需要指数级规模的证书。
本文评估了语言模型电路的一致性与特异性,发现虽然电路在任务内部具有一致性,但由于不同任务间存在大量重叠,它们缺乏任务特异性。