@ProfTomYeh：全参数微调 vs 冻结层对比。互动链接 https://byhand.ai/Or2No4 与 https://byhand.ai/ykhsCs == 全参数微调…
摘要
交互式可视化对比神经网络全参数微调与冻结层策略。
全参数微调 vs 冻结层。互动链接 https://byhand.ai/Or2No4 与 https://byhand.ai/ykhsCs == 全参数微调 == 真实网络拥有大量层——本例中三层，生产模型则含数十亿参数。当你更新全部参数时，微调会是什么样子？
相似文章
冻结深层，训练浅层：持续预训练中可解释的层分配方法
本文提出了 LayerTracer，这是一个用于持续预训练中参数层分配的可解释框架。研究表明，在冻结深层网络的同时仅训练浅层，其效果优于全参数微调。这为资源受限团队优化大语言模型提供了一种低成本且可操作的策略。
超越 LoRA 与全参数微调：基于梯度引导优化器路由的大语言模型适配
本文提出了一种混合 LoRA 与全参数微调（MoLF）框架，利用梯度引导的优化器路由在 LoRA 和全参数微调之间进行自适应切换。旨在通过结合全参数微调的可塑性与 LoRA 的正则化特性，克服仅依赖静态适配方法的结构局限性。
Aletheia：基于梯度引导的层选择方法，实现跨架构的高效LoRA微调
Aletheia 提出了一种基于梯度引导的层选择方法，用于高效的 LoRA 微调。该方法通过轻量级梯度探针识别与任务相关的 Transformer 层，并选择性地应用适配器，在 14 个模型上实现了 15%-28% 的训练加速，同时保持了在 MMLU、GSM8K 和 HumanEval 基准测试中的下游性能。
超越 FP16 + ONNX 的 Transformer 体积与推理优化（剪枝/图优化收效甚微）[P]
作者分享在 162 MB Transformer 上把 FP16 + ONNX + 剪枝用到极致却收益递减的经历，求教下一步该选量化、蒸馏、低秩分解还是硬件级技巧。
AI 研究正逐渐分化为具备训练能力与仅能做微调的两类群体
探讨算力资源如何成为推动 AI 进步的核心驱动力，以及由此在能训练大模型的组织与仅限微调基础模型的组织之间形成的分化。