标签
论文研究了正确性门控多教师蒸馏,发现决策偏移、标签功能丧失和不确定的依据审计,与硬过滤相比没有增量优势。
本文探讨了通过软令牌将冻结的关系型Transformer嵌入注入LLMs的方法,报告了因性能不稳定和对序列化格式敏感而导致的负面结果。
一项针对小型Transformer的预注册压力测试表明,虽然潜在因果结构可以被定位,但将其释放到行为中却失败:门控检测器在分布外反转,线性释放方向低于充分性界限,从而将定位与行为释放分离开来。
一位研究者制作了一个视频,讲述他们首次尝试对视觉语言模型进行修剪的机器学习研究,包含负面结果,并将论文提交至arXiv。
本文结合了机制验证研究,针对主权企业语言模型的本体增强蒸馏以及一种情境性审计方法,使用了经过监督微调和DPO适配的Qwen3.6-27B学生模型。结果统计功效不足且为负面,显示未优于前沿基线,且路由中情境性为零。