@_Yann77:嗯,J-lens 其实就是一阶泰勒展开。我还是不明白为什么他们的博客没有提到这一点

X AI KOLs Timeline 新闻

摘要

一位评论者指出,J-Lens 本质上是一阶泰勒展开,并质疑原博文为何没有提及这一点,同时引用了 Sida Liu 解释 J-Lens 的帖子串。

嗯,J-lens 其实就是一阶泰勒展开 我还是不明白,为什么他们的博客没有提到这一点
查看原文
查看缓存全文

缓存时间: 2026/11/02 18:17

嗯,J-lens 只不过是一阶泰勒展开

我还是不明白,为什么他们的博客没有提到这一点

把自己的想法阐述清楚,是写博客或论文的一部分。既然他们花了那么多篇幅解释那些站不住脚的神经科学内容,本来也可以匀出几句话,从数学角度说明为什么 J-lens 值得研究(即它是网络的一阶近似)

相似文章

雅可比透镜的数学理论

arXiv cs.LG

本文提出了一套数学理论,解释了为何 Anthropic 的雅可比透镜(J-lens)会优先检测到大语言模型隐藏状态中的相干特征——即占主导地位、空间上相干的李雅普诺夫模态,并在贝叶斯滤波器和简化 Transformer 模型上验证了该分析,同时提出了一族侧重不同时间尺度的 ω-J 透镜。

独一无二的J-Space(54分钟阅读)

TLDR AI

一篇讨论一种名为Jacobian Lens的新型可解释性技术的文章,以及J-space的发现,J-space是LLMs中的一个区域,其中可语言化的表征形成了一个全局工作空间,标志着理解LLM推理的重大进展。

短视域与稀疏概念:J-lens读取的数学视角

arXiv cs.CL

本文对雅可比镜头(J-lens)用于从语言模型中读取可语言化表示进行了数学分析,识别了其稀疏因果几何结构,并提出了改进措施以增强概念读取能力。

@QuixiAI: https://github.com/anthropics/jacobian-lens… 这真的很酷。

X AI KOLs Timeline

Anthropic 开源了 jacobian-lens(jlens),即雅可比透镜的开源参考实现。该工具可将残差流(residual stream)的激活映射到模型最后一层的基底上,从而解码某个内部状态倾向于让模型说出什么。它随论文《Verbalizable Representations Form a Global Workspace in Language Models》一同发布,并可配合 Qwen 等开放权重的 HuggingFace 解码器 Transformer 模型使用。

Anthropic发现了一个隐藏空间,Claude在其中思考概念

MIT Technology Review

Anthropic开发了雅可比透镜(J-lens),揭示了Claude Opus 4.6内部隐藏的'J空间',为在输出tokens之前洞察LLM内部推理过程提供了前所未有的视角。该技术通过呈现模型即将生成的词汇,实现了对模型行为的监控和控制。