Silico（3分钟阅读）

# @GoodfireAI 在 Thread Reader App 上的推文 来源：https://threadreaderapp.com/thread/2077073035006546005.html ## 更多来自 @GoodfireAI Goodfire 头像 (https://threadreaderapp.com/user/GoodfireAI) 7月10日 LLM 能预测下一届世界杯冠军吗？ Goodfire 与 @EternisAI 合作，改进了 LLM 预测器使用可用证据和管理不确定性的方式。 我们发现模型在预测时过于自信——但探针显著改善了校准度。(1/6)图片 (https://pbs.twimg.com/media/HM4Nc_hbsAAgQXP.jpg) 一个好的预测器应该是校准的：例如，以 80% 置信度预测的结果实际发生率为 80%。在我们的测试中，Eternis-Forecaster 的校准度远优于更大的模型。 但在模型内部训练探针让我们进一步提升了校准度！(2/6)图片 (https://pbs.twimg.com/media/HM4Nd8bbYAEEh9O.jpg) 这些探针还可以充当推理忠实性的“谎言检测器”。 我们将真实新闻来源替换为捏造的，同时观察预测结果和探针。这通常会在 CoT 未提及的情况下改变预测——但探针仍然跟踪到了这种变化。(3/6)图片 (https://pbs.twimg.com/media/HM4Ne2ja0AAGrlB.jpg) 阅读6条推文 Goodfire 头像 (https://threadreaderapp.com/user/GoodfireAI) 6月25日 我们仅通过微调 4 个德语 token 就移除了一个语言模型的德语能力。 作为我们产品 Silico 的一次为期一天的编程马拉松的一部分，我们通过仅调整权重中一个子组件的标量因子，移除了一个 67M 参数语言模型预测德语文本的能力。(1/6)图片 (https://pbs.twimg.com/media/HLrCshabsAAJAxH.jpg) 这是对使用*参数分解*进行微调的早期探索（见引文），我们的方法将模型的权重矩阵分解为可解释的、稀疏激活的组件。 我们选择德语是因为它似乎是模型最强的非英语语言。(2/6) > https://twitter.com/3079387847/status/2051717264286609516 我们与 LoRA 微调进行了基准测试。我们的编辑用更少的 token 就达到了与 LoRA 相同的德语移除效果。 引人注目的是，它几乎未影响其他语言。 LoRA 经常破坏法语、西班牙语、意大利语，有时甚至英语，而我们的编辑基本保留了它们。(3/6)图片 (https://pbs.twimg.com/media/HLrCuTabwAAI9o7.jpg) 阅读7条推文 Goodfire 头像 (https://threadreaderapp.com/user/GoodfireAI) 6月23日 故事都有形状：喜剧走向欢乐，悲剧陷入失落。 在 LLM 内部，这一点更为直观：当 LLM 阅读一个故事时，其内部激活会沿着一条蜿蜒的路径移动，反映出模型对自己所读故事类型的感知。(1/5) > https://twitter.com/1818809548037062656/status/2052420446910644616 视频海报 故事的情感逐句变化。为了观察模型是否跟上，我们在每个句子后停止： - 从最后一个 token 收集内部激活。 - 让它对到目前为止的惊讶、厌恶、愤怒、快乐、悲伤和恐惧进行评分，范围 0-10。 (2/5)图片 (https://pbs.twimg.com/media/HLgxOgPbgAAk-d1.jpg) 两种方法都表明，模型追踪故事的情感弧线——无论是在其陈述的评分中，还是在内部几何结构中，激活沿着一个弯曲的情感流形移动。(3/5) 阅读5条推文 Goodfire 头像 (https://pbs.twimg.com/media/HLgxOgPbgAAk-d1.jpg) 6月11日 你调试过训练数据吗？结果可能让你大吃一惊。 介绍预测性数据调试：在训练前揭示并塑造模型将学习的内容。 在 DPO 数据集中，我们发现了损坏的护栏、幻觉以及鱼放屁的同人小说（真的）。(1/9) 视频海报 预测性数据调试可以在训练之前揭示 DPO 会放大或抑制哪些行为（R2 = 0.9，与实际学习结果对比）。 然后它会将行为追溯到相关的数据，并调节学习以防止不良影响。(2/9)图片 (https://pbs.twimg.com/media/HKjGEPlbgAAvMef.jpg) 关键思想：解释模型也让我们能够解释数据集。 将数据通过一个已解释的模型处理，可以揭示模型在处理每个示例时计算的内容。 这些概念预测了模型在基于该数据训练时会向哪个方向移动或远离。(3/9) 阅读10条推文 Goodfire 头像 (https://threadreaderapp.com/user/GoodfireAI) 5月7日 神经网络可能说英语，但它们的思维是形状。 理解它们丰富的*神经几何*是理解它们如何工作的关键——也是精确调试和控制它们的关键。 从今天开始，我们将发布一系列关于这一研究议程的文章。🧵 视频海报 正如现实世界具有高度结构化，神经网络也充满了丰富的几何结构：时间、空间、数字、颜色、生命之树、新的生物标志物等，都沿着弯曲的路径和曲面表示。 这在不同的模型、模态和领域中都成立！(2/8) 理解这种“神经几何”的新方法是理解、改进和控制模型的关键前沿。(3/8) 阅读8条推文 Goodfire 头像 (https://threadreaderapp.com/user/GoodfireAI) 4月30日 介绍 Silico：以编写软件的精度构建 AI 模型的平台。 Silico 让研究人员和工程师能够看到模型内部、调试失败，并从零开始有意识地设计模型。 早期访问现已开放。🧵(1/10) 视频海报 我们利用可解释性发现了一类全新的阿尔茨海默病生物标志物，教会语言模型纠正自己的幻觉，并诊断机器人模型中的性能瓶颈。 Silico 将这些前沿技术带给每个人。(2/10) Silico 引入了我们的模型神经科学家：一个自主代理，可以规划并在你的模型上运行并发实验。 它可以在我们的模型设计环境中与你的团队协作，你可以组织研究主题、复现和扩展论文，并在发现上协作。 以下是用 Silico 可以做的 5 件事：(3/10) 阅读10条推文