标签
文章提出了一种Multi-Key Attention的想法，其中单个注意力头使用多个Key投影，在softmax之前以非补偿方式组合，以更好地处理多约束检索任务，并寻求关于潜在缺陷和现有基准的反馈。
Anthropic推出了TASTE，一个用于评估AI模型判断AI安全研究提案能力的基准测试，发现像Fable 5这样的模型表现不如人类研究人员。
一组用于学术研究工作流的Claude Code技能，包括文献综述、博士论文提案，以及带有矢量方程和引用的高保真学术幻灯片。
提议将语义压缩视为一种扩散噪声函数，用于处理超出模型窗口的庞大上下文，采用多遍读取并以递减的压缩级别进行。未经训练模型的实验表明，各组件在隔离状态下工作良好，但完整链条需要训练来解决绑定瓶颈。
作者提出了一种新颖的实验框架，旨在通过多实例交互来研究大语言模型（LLM）的身份形成过程，将其视为超图的演化。该框架与标准的多智能体辩论不同，它关注的是激活空间中的结构差异，而非任务性能。