dimensionality

一篇新的arXiv论文系统性地测试了关于大型语言模型为何在表格预测上失败的五个假设，发现维度是决定性因素：随着输入维度增加，LLM的准确率下降，而经典基线模型的准确率则保持平稳或有所提升。

本文研究了大语言模型（LLM）中的随机采样（自一致性）能否捕捉类似于多样化集成的跨问题结构。通过使用Marchenko–Pastur检验，作者发现，在单个模型内，随机变异最多产生一个显著维度，而24个模型的集成则产生四个，揭示了限制自一致性作为集成替代方案的维度差距。

文章指出，AI智能体通常是在对低维行为的隐含假设下构建的，但实际上它们运行的空间维度要高得多，从而导致意想不到的复杂性。

本文使用GPT-4.1对约9000条客服对话进行标注，将客户满意度分解为多个维度，并验证了标注与用户自评满意度的一致性。研究发现，全量数据中的满意度低于调查反馈结果。

本文研究了任务需要世界模型中的多少结构，表明目标的维度决定了模型安装了多少预测方向，而常见的标量奖励目标只是价值等价性的秩一角。

这项研究探索了利用水凝胶提升晶体管的维度，有望实现新的柔性或生物电子设备。