weight-updates

标签

Cards List
#weight-updates

微调更新的秩度量需要噪声基线

arXiv cs.LG ↗ · 2026-10-19 缓存

该论文指出,用秩来衡量微更新ΔW时必须加入噪声基线:方向计数类指标显示微更新仅略低于噪声,而稳定秩则显示远低于噪声,二者共同揭示更新具有少数强方向加长尾的结构。研究还发现指令数据、DPO偏好标签对更新并无显著特殊性,并质疑了'后训练是表面性的'相关论断。

0 人收藏 0 人点赞
#weight-updates

八种持续学习工具的对比:按其作用层级划分,以及这份对比遗漏的那一栏

Reddit r/AI_Agents ↗ · 2026-10-15

作者对比了八种智能体持续学习工具按其作用层(记忆、提示、技能、权重)的分类,并补充了一个关键缺失维度:权重更新是否能在不停止服务的情况下到达推理引擎。文章重点介绍了能在推理持续进行时热更新权重的 reef 项目。

0 人收藏 0 人点赞
#weight-updates

GRRR:解码器LLM后训练中的重塑、旋转与路由几何

arXiv cs.LG ↗ · 2026-09-22 缓存

本文利用奇异值分解分析LLM的后训练权重更新,识别出驱动性能提升的几何成分,表明重塑奇异值不如旋转和路由变化关键。

0 人收藏 0 人点赞
#weight-updates

我刚刚解决了持续学习

Reddit r/artificial ↗ · 2026-09-16

本文提出了一种人工智能中的持续学习方法,模型自主决定学习内容并实时更新其权重,可能实现向AGI的连续自我进化。

0 人收藏 0 人点赞
#weight-updates

语言模型能否在其权重中持续学习事实?

arXiv cs.CL ↗ · 2026-07-14 缓存

本文研究了语言模型能否通过持续学习在其权重中学习新事实。通过使用虚构事实并顺序写入Qwen3模型,研究发现训练数据的广度决定了知识类型和保留程度:单纯陈述的事实会迅速被遗忘(20次写入后准确率仅1%),而从多样化复述中学习的事实保留了46%的准确率。被遗忘的事实并未被擦除,而是由于后续写入重定向了问题而变得行为上不可访问,上下文仍然是事实组合和存续的可靠渠道。

0 人收藏 0 人点赞
#weight-updates

@rohanpaul_ai: 这篇论文展示了一种人工智能通过重写其设置并更新其模型来更好地自我改进。问题是,大部分…

X AI KOLs Following ↗ · 2026-06-11 缓存

本文介绍了SIA,一种自我改进的AI循环,它结合了脚手架重写和权重更新(通过LoRA)以提升任务性能。在三个不同的任务上测试,它优于仅使用脚手架改进的设置。

0 人收藏 0 人点赞
#weight-updates

上下文是软件,权重是硬件

Hacker News Top ↗ · 2026-04-19 缓存

Aravind Jayendran 认为,尽管更长的上下文窗口能提升 LLM 表现,却无法完全取代权重更新;他将上下文比作瞬态软件,而权重则是能根本改变模型能力的硬件。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈