model-splitting

标签

Cards List
#model-splitting

今日学到:为什么我的双5060 Ti配置卡在50%使用率上不去——不是它坏了。

Reddit r/LocalLLaMA · 2026-07-22

探讨双RTX 5060 Ti GPU在运行Qwen 27B等大型LLM时利用率仅达50%左右的原因:内存带宽是瓶颈,逐层拆分导致空闲时间,这更像是接力赛而非并行计算。

0 人收藏 0 人点赞
#model-splitting

QSplitFL:基于能力感知的深度Q学习在分割联邦学习中的最优分割点选择

arXiv cs.LG · 2026-06-10 缓存

QSplitFL提出了一种基于DQN的框架,用于在分割联邦学习中选择最优分割点,利用客户端硬件指标适应异构设备。实验表明,在多个数据集和架构上,该方法提高了收敛速度和准确率。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈