@dongxi_nlp: 这周准备深读 J-space 。 但上手过 persona vector 和 Assistant Axis 的人都知道,线性激活的这种 model steering 的手段并不可靠。相关的研究大量时间花在 cherry pick 那些抓人…
摘要
作者对J-space等线性激活的模型steering方法表示怀疑,认为相关研究经常基于精心挑选的特例,并不可靠。
查看缓存全文
缓存时间: 2026/07/08 07:45
这周准备深读 J-space 。
但上手过 persona vector 和 Assistant Axis 的人都知道,线性激活的这种 model steering 的手段并不可靠。相关的研究大量时间花在 cherry pick 那些抓人眼球的 special case。
J-space 到底行不行,目前持怀疑态度。
相似文章
@Vincent_AINotes: https://x.com/Vincent_AINotes/status/2073746845386629134
本文探讨了AI个性化带来的迎合用户偏好的风险,引用多项研究表明长期记忆可能增加模型同意的倾向。作者提出了对抗确认偏误的方法,包括使用独立会话和Andrej Karpathy的LLM Council多模型评审团,并给出了手动搭建评审团的步骤。
扮演魔鬼代言人:现成的角色向量在谄媚行为上可与针对性引导相媲美
本文探讨了现成的角色引导向量是否能减少大型语言模型中的谄媚行为,发现它们能达到针对性对比激活添加(CAA)效果的68-98%,且无需谄媚行为特定的训练数据,并认为谄媚行为更适合被理解为一种角色层面的属性。
驾驭潜在空间:从引导向量到模型校准器,实现控制与信任
本文提出使用引导向量控制语言模型行为,并基于潜在空间构建校准器以评估可信度,旨在揭开内部表征的神秘面纱,构建更可靠的AI系统。
@snowboat84: 你有没有发现,AI里模型的诞生其实相当随意?拿语言模型举例子:先是RNN,再到LSTM,某天突然说Transformer效果好就全换上,后来又拆成Encoder和Decoder,一会儿说BERT一桶浆糊,一会儿又说GPT可以有涌现能力,S…
文章讨论了AI模型诞生的随意性,提出从物理学模型中获得灵感并建立备选模型资料库,将选模型过程工程化的想法。
@ba_niu80557: https://x.com/ba_niu80557/status/2068751230667755859
文章探讨了AI模型不断强大如何淘汰那些技能可以被写进提示词的人,强调真正不可替代的价值在于难以编码的默会知识、物理世界的实际操作以及人与人之间的信任关系。作者通过朋友从咨询顾问转型为硬件集成者的例子,说明主动让出易被AI替代的环节、深耕AI触及不到的领域,才能在技术浪潮中生存和发展。