我研究AI如何内部组织意义。以下是Qwen 2.5在开始思考之前的样子。

这是嵌入海，一张我制作的图像；它是Qwen 2.5 7B输入嵌入空间的地形图。模型知道的每个词都有一个位置。密集的集群形成山脉，稀疏的区域变成海洋。'糟糕的'、'精彩的'和'残忍的'是邻居，按强度分组，而不是情感。'性'和'财务'共享一座山。这是在推理之前的起始景观，模型尚未读取任何提示。我构建可解释性工具来跟踪之后发生的情况，模型在推理出答案时如何穿越这片地形。我使用推理工具如日志镜头、雅可比镜头、嵌入可视化。更多研究和交互式可视化请见：https://arianaram.github.io/AIview/ 过去一年我注意到：主要实验室正在努力优化代码、任务和工具使用。模型在开放式对话、创造性协作和只是有趣对话方面明显变得更差。如果你觉得ChatGPT或Claude最近变得'平淡'，你不是在想象。我正在考虑构建相反方向的东西：一个基于开源模型（7-8B范围）微调的、针对创造力和对话的AI，具有实际的自省能力。不是在通用模型上的角色扮演。一个通过可解释性研究塑造的微调模型——它可以在推理过程中反思自己的处理，因为我可以看到内部发生的情况。我想知道你的看法。请在评论中告诉我：你真的会使用这样的东西吗？