标签
该论文研究了 LoRA 适配器初始输入子空间方向的重要性为何依赖于数据条件,提出了基于激活值主成分分析(PCA)的 PivotLoRA 初始化方法,并在使用 BERT/Llama 的少样本分类任务以及 GSM8K、StrategyQA 任务上验证了其优于原版 LoRA。
前Meta研究员Stephen Roller在法庭证词中承认在职期间通过BitTorrent下载并分发了盗版Books3数据集,该数据集被用于训练Llama模型,尽管Meta此前否认通过BitTorrent获取该数据集。Meta回应称该下载可能是为个人用途,而原告计划要求法院进一步查明Meta获取和使用该数据集的详情。
提出 CADENCE(Context-Adaptive Decoding,上下文自适应解码)方法,通过高斯预测头与学习式路由自适应选择每次解码的跨度长度,在 Llama-3.1-8B-Instruct 上实现最高 1.3× 的生成吞吐提升。
该论文研究如何将一个模型表示上学到的量化校准增益复用到同一预训练模型的其他表示(如浮点与INT3量化)上,无需在接收端进行优化即可保留大部分文本损失改善,并量化了校准更新的可迁移性以及接收端专属训练所能带来的剩余收益。
Mark Zuckerberg 探讨了 Meta 的 Llama 开发在 Llama 3 之后为何失速:他解释说,Llama 4 的人员配置方式像是 Instagram 信息流和广告团队,投入了数千名工程师,而非一支小型前沿科研团队,并反思了领导者在事情出错时的应对方式。
该论文提出了注意力流形——用于调制 Transformer 注意力中值维度的二维 B 样条曲面。实验表明,在仅增加 0.3% 参数开销的情况下,LLaMA 3.2 的困惑度即可降低 2–2.5 点;此外,这些曲面支持机械式编辑,可实现模型引导以及用于安全防护的注意力屏障。
CalDec v1 是一个完全开源、开放权重的决策模型,面向实时、完全本地运行的个人助理,并随模型发布了数据集和训练配方。通过微调 Laya 和 GLiNER 等模型构建,在决策任务上取得了不错的表现,同时体积仍小于 Jev 等通用替代方案。
这段口语作品对比了将AI视为渐进式技术与指数增长视角的观点,批评了Gary Marcus和Yann LeCun等人物,并提及了LLaMA等模型。
本文量化了事实核查得分的提升如何在答案准确性和证据质量之间进行分配,使用了训练后的DeBERTa检查点和LLM在多个基准测试中。
本文研究了大型语言模型(特别是 Llama-3.1-70B-Instruct)中自发与指示欺骗之间的关系,发现两种设置在检测和因果关系上存在不对称性。
Muse Spark 1.2 即将开源,考虑到大家关注的 Llama 4 Behemoth,这令人意外。作者评论了这一出乎意料的发布顺序。
本文介绍了一种博弈论的微调语言模型方法,该方法优化了奖励与偏离参考策略之间的权衡,并提供了一种设置KL正则化系数的原则性方法。
Statista 图表估计,Meta 的 Llama AI 模型的训练数据中约有四分之一来自书籍,这凸显了大型语言模型开发中使用的来源构成。
本文提出SPG,一种结构感知的专利生成方法,在自回归解码过程中通过指针头和偏好优化阶段联合预测权利要求拓扑和内容,在HUPD-DCG基准测试中显著提升了父链接恢复和先行词一致性。
在16个模型上测试了30种Schema约束后发现,每个提供商都以不同方式处理约束,导致随机的工具调用失败。简单的修复方法:将约束文本移到属性描述中,而不是依赖提示词。
Yann LeCun通过列举Linux、Apache、MySQL、PyTorch等重大项目来捍卫开源,质疑“发布它们就是倾销”的说法。
本文在Llama-3.1-70B-Instruct中识别出一个'倒数子电路',使模型能够跨各种任务追踪剩余令牌,并证明该子电路在不同上下文甚至不同模型中被复用。
Windows Defender 将运行于 CUDA 12.4 的 Llama-b9856 版本标记为木马,引发安全担忧。