gradient-based

标签

Cards List
#gradient-based

大模型微调是否需要人类可读的文本?

arXiv cs.AI ↗ · 2026-09-30 缓存

这篇 arXiv 论文提出了目标更新对齐合成数据(Desired-Update-Aligned Synthetic Data,DASA)方法。该方法利用冻结参考模型的激活梯度反馈,优化连续合成输入嵌入用于大模型微调,从而质疑人类可读文本是否为必要条件。在 Llama 和 Qwen 系列模型(1B–32B)上的实验表明,在 LoRA 微调下,DASA 的效果与自然语言数据持平或更优,并且相比 GRADMM 实现了 3.6–4.9 倍的加速。

0 人收藏 0 人点赞
#gradient-based

基于梯度的语音到文本对齐方法,适用于任何ASR模型:从CTC到语音大语言模型

arXiv cs.CL ↗ · 2026-07-09 缓存

本文介绍了一种基于梯度的语音到文本对齐方法,适用于任何可微分的ASR模型,包括CTC、transducer、基于注意力的编码器-解码器以及语音大语言模型,无需训练或模型修改。

0 人收藏 0 人点赞
#gradient-based

GBC:基于梯度的连接以优化多智能体系统

Hugging Face Daily Papers ↗ · 2026-06-26 缓存

提出基于梯度的连接(GBC)方法,将多智能体LLM系统建模为计算图,并利用梯度信号将错误归因到特定智能体,从而更好地进行系统级优化。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈