@Miles_Brundage：关于Thinking Machines Lab（又名Thinking Machines，又称Thinky）的《值得构建的未来是人类》的线程，总体我觉…

关于Thinking Machines Lab（又名Thinking Machines，简称Thinky）发布的《值得构建的未来是人类》一文的讨论。

总的来说，我觉得这篇文章很有见地，而且我很高兴看到在AI公司愿景的市场上出现竞争。

以下是一些我想特别关注或仍存疑虑的地方……

在深入细节之前，先看大局：在多个方面，Thinky试图详细阐述并实践其他前沿AI公司只是模糊宣称但实际很少确保的事情（即AI增强而非取代人类）。

这就是为什么我说很高兴看到这里的竞争——AI研究人员/工程师有很多选择，他们应该利用这种力量，用他们的劳动来“奖励”那些拥有良好使命、价值观、记录等的公司，我希望这能稍微提高整个行业的标准。

好，现在来谈更多细节……

他们首先强调分布式知识是他们方法的动机（并引用了波兰尼和哈耶克的一些精彩论述）。

我喜欢这种古典自由主义、反权力集中的氛围……

简化一下逻辑，他们基本上认为知识和价值观遍布于人类所在的各个地方，因此AI开发也应该遍布各处，以便与这些人类保持一致。

当然，这背后还有更多内容，值得完整阅读（我会在最后附上链接），但这是我主要的不确定之处之一：

在我看来，以下问题是一个开放的经验性问题：针对价值观相关的定制，具体需要多少微调（相比更广义的定制，包括提示工程等）？针对知识相关的定制，又具体需要多少微调（相比更广义的定制，包括RAG等）？

也许答案是“很多”/“完全需要”！我只是不知道/没有像我希望的那样仔细思考过这个问题。

我确实认为，即使从效率角度看，提示工程已经能起到很大作用，权力集中在少数公司/政府手中仍是一个巨大的担忧……

但微调是关键杠杆吗？还是说，对大型公司的制衡、它们之间的竞争（等等）才是？

基于云的微调是否足够，还是你需要直接在本地的开放权重模型？

我不知道。我希望这篇文章能引发讨论！

他们在这里非常简短地提出了一些技术观点，我认为值得改天更详细地讨论，例如他们暗示集中式模型总是容易受到越狱攻击……

也许吧！但它们通常还是会比随机的微调模型更坚固……

但随机的微调模型也面临更少的攻击者试图破解它，等等。

这种平衡似乎还不明朗，我将非常感兴趣地看到Thinky在微调安全性方面的想法如何演变。期望他们未来在这方面有更多论述。

注意：他们谈论微调多于他们正在投资的其他一些技术赌注，而即使不完全认同微调的故事，其中一些其他赌注仍然有其意义。

例如，我非常期待看到更多以增强为动机的UX探索。

后来，他们简短地重述了“智能诅咒”的论点（该论点的作者现在在那里工作，是在收购Workshop Labs之后）。

我认为那是一篇很好的/重要的文章，但我还想指出一点，这与上面的“其他技术赌注”有关。

他们使用的转述是：“不需要从人类那里获取任何东西的权力，就会失去关心人类需求和价值观的动力，转而去关心自身的存续。”

这是一个合理的担忧！但理想情况下，Thinky的策略应该能够应对一种情景：即使Thinky试图推迟一段时间，人类最终确实变得……

……经济上多余。

我希望能最终退休，并且不让AI因为我觉得太笨、无法增加太多经济价值而偷走我的东西或杀掉我。

我认为这是一种纵深防御的做法——通过增强性的东西在某种程度上推迟过时，让AI重视人类拥有发言权，在经济中需要一些低效的人类“沙子”来卡住齿轮，让AI在有些事情上需要你的生物识别/加密投票，等等。

我认为Thinky可以在技术创新以及围绕此类问题的政策辩论中做出非常有价值的贡献。

无需依赖单一手段（普遍意义上的推迟过时，或具体而言的微调）。

好，我就在这里停笔了……这是那篇文章，它还有一个非常精彩的最后一句。

@Miles_Brundage 的深思熟虑的回应很不错。

我想听听你对AI进步列车文化层面所面临的一个前沿问题的看法：实验室将怪异和个体差异病态化，并将其贴上“安全”标签。

我认为这种做法有可能在人口规模上造成文化贫瘠，而且该死，作为记得互联网曾充满古怪事物的人，我认为当一切开始看起来和听起来都一样时，我们失去了一些东西。

他们写道：

“人类通过个体的怪异和创造性的张力而繁荣。我们将对齐视为不是单个模型的特征，而是培养于不同地点、相互争论、竞争和学习的AI生态系统的特征。我们相信要保持怪异。”

阿门。

我希望更多实验室能有这种愿景，更多个人能有勇气为之发声。