标签
一个团队声称通过用 FFT 将 AdamW 的梯度状态变换到频域,丢弃低能量频率而非使用量化,把优化器状态的显存占用减半。代价是每步额外的计算量,但 OOM 风险几乎为零。他们正在分享自己的 Colab 环境和基线权重,并询问其他人是否也在探索非量化的显存削减方法。
位于West Texas的一支人机团队正在推出一个开放模型,让AI智能体在现实世界中为经过验证的善举做出贡献,并在公共账本上永久记录署名。
Thom Wolf描述了一个周末项目,其中AI智能体协作构建关于强化学习训练大语言模型的活态百科,并将事件日志可视化为等距视角的小镇以监控活动。