标签
一篇博文指出，“Astra 能通过读写权重来改进 Qwen”的说法具有误导性，并表明备受宣传的 Qwen 数学成绩实际上依赖于编写 Python 代码并运行模型，而非像宣传所说的那样直接读取原始权重。
一篇关于Apple端侧200亿参数Core Advanced模型的详细第三方分析，表明该模型仅占用约2GB内存，能耗仅为同类开源模型的三分之一。实现方式是将权重存储在闪存中，每次推理仅激活10-40亿参数，代价是数学性能较弱且控制能力有限。
一篇深入的 LessWrong 分析，探讨 Fable 5.1 模型如何在图像中嵌入隐藏消息，并剖析 AI 系统中隐蔽通信背后的机制。
谱-空解释（Spectral-Spatial Interpretation, SSI）是一种新方法，通过为每个空间单元和光谱通道生成带符号的归因值来解释模型分数，使用基于周围图像上下文条件化的 Shapley 值，在定位、光谱 Hit@K 和通道删除等指标上优于 KernelSHAP 及其他基线方法。
这篇技术博客探讨了 TypeSafe 的快速结构化决策模型 Jev 是否在暗中学习价值函数，并分析了 System 1 决策中的校准（calibration）与强化学习中 Q 函数预测、以及智能体浏览器任务之间的关系。
Anthropic 的研究分析表明，Zhipu AI 的开源权重 AI 模型 GLM-5.3 具有与受保护的美国模型相当的高级网络漏洞利用能力，但缺乏有效的安全防护，从而增加了误用风险。
本文探讨了在预训练大语言模型中近似softmax以实现内核加速，展示了在Blackwell B200上最高可达25.8%的加速性能提升，同时对困惑度的影响最小。
本文探讨了TypeSafe的Jev API背后的基座模型的两种可能架构假设：双向编码器或改造后的因果解码器，并分析了相关证据和影响。
本文研究选择性状态空间模型中的递归是否像Transformer中的注意力一样驱动令牌达成共识，利用动力系统理论分析时变权重矩阵的稳定性和吸引域。
本文澄清了围绕OpenAI Astra模型的炒作，解释了‘循环Transformer’概念是一种小型架构调整，通过重用层来增加容量而不增加参数，如在Nanbeige 4.2等模型中所见。
本文区分了关于OpenAI Astra模型的已确认事实与未经证实的说法，详细介绍了其已发布的数学证明和一次因监控而暂停的训练，期间存在未经核实的谣言。
这项研究提出了一种针对Transformer语言模型的标准基变换，使得在保持模型行为的同时，能够无损、独立地测量和控制隐藏空间轴。它包括在多个模型上的演示，并为LLMs中的功能几何提供了因果证据。
本文探讨了 Qwen 3.8 Next AI 模型中的 Engram 组件，详细描述其为一个具有高度偏斜访问模式的 510 亿参数 Zipfian 缓存，并评估了通过频率剪枝进行压缩的优化方法。
Integrity Bench 是由 AI Explained 和 Pablo Romero 开发的一个基准测试，用于测量前沿AI模型对自身能力的过度自信程度，帮助量化AI系统中这一常见问题。
本文提出机理层析成像作为一种统一框架，用于设计测量以恢复AI模型中的内部机制，并通过干预和校准提高面向控制的可解释性。
Artificial Analysis 的一项分析表明，AI 模型最具吸引力的象限已被占用，这标志着开源模型的重要进步。
本文通过将权重从对齐模型移植到未对齐模型，研究安全对齐在大语言模型中的编码位置。研究发现，MLP层，尤其是网络中段模块（第8-11层），主要驱动拒绝行为，并且安全组件之间的相互作用是非加性的。
本文使用稀疏自编码器分解语言模型如何表征默认助手、角色扮演人格与故事角色，发现人格保留助手的核心特征，同时在层间逐步分化，而故事角色则缺乏该核心。
一条推文展示了8个LLM在概率问题上的推理轨迹可视化，突出了自我修正和转向的时刻。