llama

标签

Cards List
#llama

子空间方向何时对 LoRA 重要?少样本适应中幅值原则在不同情形下的分析

arXiv cs.LG ↗ · 3天前 缓存

该论文研究了 LoRA 适配器初始输入子空间方向的重要性为何依赖于数据条件,提出了基于激活值主成分分析(PCA)的 PivotLoRA 初始化方法,并在使用 BERT/Llama 的少样本分类任务以及 GSM8K、StrategyQA 任务上验证了其优于原版 LoRA。

0 人收藏 0 人点赞
#llama

前 Meta 研究员通过种子下载盗版书籍,“因诉讼”将其删除

Hacker News Top ↗ · 2026-10-31 缓存

前Meta研究员Stephen Roller在法庭证词中承认在职期间通过BitTorrent下载并分发了盗版Books3数据集,该数据集被用于训练Llama模型,尽管Meta此前否认通过BitTorrent获取该数据集。Meta回应称该下载可能是为个人用途,而原告计划要求法院进一步查明Meta获取和使用该数据集的详情。

0 人收藏 0 人点赞
#llama

预测下一个词元还是向量?学习解码的跨度长度

arXiv cs.LG ↗ · 2026-10-19 缓存

提出 CADENCE(Context-Adaptive Decoding,上下文自适应解码)方法,通过高斯预测头与学习式路由自适应选择每次解码的跨度长度,在 Llama-3.1-8B-Instruct 上实现最高 1.3× 的生成吞吐提升。

0 人收藏 0 人点赞
#llama

跨模型表示复用校准增益

arXiv cs.LG ↗ · 2026-10-19 缓存

该论文研究如何将一个模型表示上学到的量化校准增益复用到同一预训练模型的其他表示(如浮点与INT3量化)上,无需在接收端进行优化即可保留大部分文本损失改善,并量化了校准更新的可迁移性以及接收端专属训练所能带来的剩余收益。

0 人收藏 0 人点赞
#llama

@rohanpaul_ai:Mark Zuckerberg 谈 Llama 在 Llama 3 之后为何停滞。他指出 Llama 3 是一个非常优秀的模型,几乎达到了前沿水平……

X AI KOLs Timeline ↗ · 2026-10-06 缓存

Mark Zuckerberg 探讨了 Meta 的 Llama 开发在 Llama 3 之后为何失速:他解释说,Llama 4 的人员配置方式像是 Instagram 信息流和广告团队,投入了数千名工程师,而非一支小型前沿科研团队,并反思了领导者在事情出错时的应对方式。

0 人收藏 0 人点赞
#llama

注意力流形:通过编辑学到的 B 样条曲面来引导或阻断语言模型

arXiv cs.LG ↗ · 2026-10-03 缓存

该论文提出了注意力流形——用于调制 Transformer 注意力中值维度的二维 B 样条曲面。实验表明,在仅增加 0.3% 参数开销的情况下,LLaMA 3.2 的困惑度即可降低 2–2.5 点;此外,这些曲面支持机械式编辑,可实现模型引导以及用于安全防护的注意力屏障。

0 人收藏 0 人点赞
#llama

CalDec v1 - 面向个人助理的完全开放决策模型

Reddit r/LocalLLaMA ↗ · 2026-10-02

CalDec v1 是一个完全开源、开放权重的决策模型,面向实时、完全本地运行的个人助理,并随模型发布了数据集和训练配方。通过微调 Laya 和 GLiNER 等模型构建,在决策任务上取得了不错的表现,同时体积仍小于 Jev 等通用替代方案。

0 人收藏 0 人点赞
#llama

Opus 5.5 再次发布热门音乐视频

Reddit r/singularity ↗ · 2026-09-24 缓存

这段口语作品对比了将AI视为渐进式技术与指数增长视角的观点,批评了Gary Marcus和Yann LeCun等人物,并提及了LLaMA等模型。

0 人收藏 0 人点赞
#llama

当事实核查得分提高时发生了什么?训练后验证器与LLM中的证据和答案归因分析

arXiv cs.CL ↗ · 2026-09-24 缓存

本文量化了事实核查得分的提升如何在答案准确性和证据质量之间进行分配,使用了训练后的DeBERTa检查点和LLM在多个基准测试中。

0 人收藏 0 人点赞
#llama

自发与指示欺骗中的不对称性

arXiv cs.AI ↗ · 2026-09-02 缓存

本文研究了大型语言模型(特别是 Llama-3.1-70B-Instruct)中自发与指示欺骗之间的关系,发现两种设置在检测和因果关系上存在不对称性。

0 人收藏 0 人点赞
#llama

首次运行本地模型

Reddit r/LocalLLaMA ↗ · 2026-08-31

一位用户分享了在本地运行ik_llama模型的经历,尽管只有12GB显存,但仍称赞其速度很快。

0 人收藏 0 人点赞
#llama

Muse Spark 1.2 开源竟早于 Llama 4 Behemoth!!?

Reddit r/LocalLLaMA ↗ · 2026-08-10

Muse Spark 1.2 即将开源,考虑到大家关注的 Llama 4 Behemoth,这令人意外。作者评论了这一出乎意料的发布顺序。

0 人收藏 0 人点赞
#llama

可检测性边缘的后训练:一种博弈论驱动的微调方法

arXiv cs.LG ↗ · 2026-07-30 缓存

本文介绍了一种博弈论的微调语言模型方法,该方法优化了奖励与偏离参考策略之间的权衡,并提供了一种设置KL正则化系数的原则性方法。

0 人收藏 0 人点赞
#llama

@kuriharan: 估计 Llama AI 四分之一的数据来源来自书籍 https://statista.com/chart/36465/estimated-data-source-distributi…

X AI KOLs Timeline ↗ · 2026-07-28

Statista 图表估计,Meta 的 Llama AI 模型的训练数据中约有四分之一来自书籍,这凸显了大型语言模型开发中使用的来源构成。

0 人收藏 0 人点赞
#llama

指针增强的自回归生成专利权利要求与联合拓扑和内容解码

arXiv cs.CL ↗ · 2026-07-28 缓存

本文提出SPG,一种结构感知的专利生成方法,在自回归解码过程中通过指针头和偏好优化阶段联合预测权利要求拓扑和内容,在HUPD-DCG基准测试中显著提升了父链接恢复和先行词一致性。

0 人收藏 0 人点赞
#llama

原来你的工具调用在某些模型上随机失败的原因并不随机

Reddit r/AI_Agents ↗ · 2026-07-25

在16个模型上测试了30种Schema约束后发现,每个提供商都以不同方式处理约束,导致随机的工具调用失败。简单的修复方法:将约束文本移到属性描述中,而不是依赖提示词。

0 人收藏 0 人点赞
#llama

@ylecun: 所以,发布Linux就是倾销?Apache、MySQL、PHP?HTTP、TCP/IP、OpenSSL、OpenSSH?Libjpeg、VLC?开源软…

X AI KOLs Following ↗ · 2026-07-19 缓存

Yann LeCun通过列举Linux、Apache、MySQL、PyTorch等重大项目来捍卫开源,质疑“发布它们就是倾销”的说法。

0 人收藏 0 人点赞
#llama

共享子电路使大语言模型跨任务倒数

arXiv cs.CL ↗ · 2026-07-15 缓存

本文在Llama-3.1-70B-Instruct中识别出一个'倒数子电路',使模型能够跨各种任务追踪剩余令牌,并证明该子电路在不同上下文甚至不同模型中被复用。

0 人收藏 0 人点赞
#llama

@LottoLabs: Meta停止发布Llama模型真是短视

X AI KOLs Following ↗ · 2026-07-04

用户批评Meta停止发布Llama模型的决定,称其短视。

0 人收藏 0 人点赞
#llama

Llama-b9856 Win Cuda 12.4 - Windows Defender 声称其为木马

Reddit r/LocalLLaMA ↗ · 2026-07-01

Windows Defender 将运行于 CUDA 12.4 的 Llama-b9856 版本标记为木马,引发安全担忧。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈