标签
Anthropic开发了雅可比透镜(J-lens),揭示了Claude Opus 4.6内部隐藏的'J空间',为在输出tokens之前洞察LLM内部推理过程提供了前所未有的视角。该技术通过呈现模型即将生成的词汇,实现了对模型行为的监控和控制。
一篇讨论一种名为Jacobian Lens的新型可解释性技术的文章,以及J-space的发现,J-space是LLMs中的一个区域,其中可语言化的表征形成了一个全局工作空间,标志着理解LLM推理的重大进展。
受Anthropic的JSpace论文启发,提供了一个Jacobian-lens视角的语言模型表示公开演示,允许用户跨层和令牌探索模型内部。
作者在开放模型上测试了Anthropic的Jacobian Lens,然后它演变成了一个用于检测AI幻觉的本地模型幻觉路由器
一位开发者构建了Subtext,这是一个利用Anthropic的Jacobian lens可视化语言模型内部“无声词汇”的工具,可以在模型输出token之前实时观察其推理过程。该工具可在单块12GB GPU上运行,并以全生成速度流式输出。