weight-transfer

Agora 是一个系统，它使用 Git 作为 AutoResearch 代理的共享内存，使研究贡献能够以协作和不可变的方式记录在一个仅追加的有向无环图中。

Agora是一个基于Git的共享内存系统，用于集体自动研究，允许多个AI代理协作而无需重复，通过使用LLM工作器在没有训练数据的情况下初始化模型来演示。

vLLM引入了一个原生的分片权重传输引擎，使用Ray Direct Transport (RDT)来在大规模在线强化学习环境中进行高效的权重同步，从而提升像Kimi K2这样的模型的性能。

本文通过构建基准测试并提出一种方法，将进一步预训练与权重差异迁移相结合，以更低的成本创建专门的指令遵循模型，从而解决无资源编程语言的代码生成问题。

本文提出了一种方法，将预训练的Softmax注意力模型转换为线性复杂度的测试时训练（TTT）架构，在显著加速推理的同时，实现了与微调Softmax模型相当的文生图质量。该方法通过对Stable Diffusion 3.5进行线性化得到SD3.5-T^5，在1K分辨率下实现1.32倍加速。