我在开放模型上测试了Anthropic的新Jacobian Lens，然后它变成了一个本地模型幻觉路由器

Reddit r/LocalLLaMA 工具
anthropic jacobian-lens hallucination-detection local-models open-source interpretability ai-safety

摘要

作者在开放模型上测试了Anthropic的Jacobian Lens，然后它演变成了一个用于检测AI幻觉的本地模型幻觉路由器

暂无内容
查看原文

相似文章

Anthropic发现了一个隐藏空间，Claude在其中思考概念

MIT Technology Review

Anthropic开发了雅可比透镜（J-lens），揭示了Claude Opus 4.6内部隐藏的'J空间'，为在输出tokens之前洞察LLM内部推理过程提供了前所未有的视角。该技术通过呈现模型即将生成的词汇，实现了对模型行为的监控和控制。

@QuixiAI: https://github.com/anthropics/jacobian-lens… 这真的很酷。

X AI KOLs Timeline

Anthropic 开源了 jacobian-lens（jlens），即雅可比透镜的开源参考实现。该工具可将残差流（residual stream）的激活映射到模型最后一层的基底上，从而解码某个内部状态倾向于让模型说出什么。它随论文《Verbalizable Representations Form a Global Workspace in Language Models》一同发布，并可配合 Qwen 等开放权重的 HuggingFace 解码器 Transformer 模型使用。