如何获取前沿实验室工作

我从 Gemini 预训练领域负责人那里读到一篇很棒的文章，尤其适合那些希望在前沿“新实验室”工作的人。

展示实验室所需的技能：
Vlad 建议专注于前沿实验室扩展其范围的方向。

这包括（但不限于）LLM 下方和上方的两个技术栈：

• 内核工作：涵盖用于提升 LLM 性能的生态系统。例如 DSL、FlashAttention、量化等。
• 智能体工作：精心设计的 LLM 工作流，用于创建有用的输出，例如 AutoResearch。

推荐的学习资源：
内核工作：

• Flash Attention 系列（第 1 至第 4 部分）
• DSL（领域特定语言）：ThunderKittens 和 CuTe DSL
• SnapKV：推荐阅读以理解解码侧的优化。

量化

• LLM.int8()：一篇经典的基础论文，可学到量化的强力技巧。
• Chris De Sa 团队的论文，特别是 QuiP、QuiP# 和 QTIP (https://arxiv.org/abs/2307.13304)
• AQLM: (https://arxiv.org/abs/2401.06118)。

智能体研究
Andrej Karpathy 的“AutoResearch” (https://github.com/karpathy/autoresearch…)
AlphaEvolve & FunSearch: (https://arxiv.org/abs/2506.13131)

QuIP: 具有保证的大语言模型 2 位量化

来源：https://arxiv.org/abs/2307.13304
查看 PDF (https://arxiv.org/pdf/2307.13304)

摘要：本文研究了大语言模型 (LLM) 中的后训练参数量化。我们引入了具有非一致性处理的量化 (QuIP)，这是一种基于以下洞察的新方法：量化受益于 \textit{非一致} 的权重和 Hessian 矩阵，即权重幅度均匀且需要精确舍入的重要方向与坐标轴不对齐。QuIP 包含两个步骤：(1) 一个最小化二次代理目标的自适应舍入过程；(2) 高效的预处理和后处理，通过乘以随机正交矩阵确保权重和 Hessian 的非一致性。我们为第一个 LLM 规模的量化算法提供了理论分析来补充 QuIP，并证明我们的理论也适用于现有方法 OPTQ。实验上，我们发现我们的非一致性预处理改进了几种现有的量化算法，并产生了首批仅使用每权重两位就能得出可行结果的 LLM 量化方法。我们的代码可在此 https URL (https://github.com/Cornell-RelaxML/QuIP) 找到。

提交历史

来自：Jerry Chee [查看邮件 (https://arxiv.org/show-email/1ca36e91/2307.13304)] [[v1]](https://arxiv.org/abs/2307.13304v1) 2023 年 7 月 25 日星期二 07:44:06 UTC（87 KB） [v2] 2024 年 1 月 15 日星期一 21:54:28 UTC（108 KB）