新课程：实战中的Transformer。你将了解基于Transformer的大语言模型（LLM）是如何实际工作的，从而能够推理其行为、诊断像推理速度慢这类问题，并对部署做出更明智的决策。本课程与@AMD合作开发，由@realSharonZhou授课。你将看到Transformer是如何一个一个分词地生成文本，模型在预测下一个词时如何决定哪些较早出现的词最重要，以及量化等技术如何加速GPU上的推理。这不仅仅是一个视频课程；贯穿全程的交互式可视化让你可以亲身体验这些概念，并建立持久的直觉。你将获得的技能：

• 理解LLM为何会产生幻觉，以及RAG（检索增强生成）和思维链如何影响其生成内容
• 深入模型内部，看到注意力和各层如何结合来预测下一个词
• 诊断推理瓶颈，并学习加速Transformer在GPU上运行的技术

立即加入，了解LLM内部真正发生了什么：https://deeplearning.ai/courses/transformers-in-practice…

实战中的Transformer

来源：https://www.deeplearning.ai/courses/transformers-in-practice

了解你的LLM内部真正发生了什么

• 理解文本生成：了解Transformer如何逐个分词生成输出，以及这如何解释其许多行为。
• 深入模型内部：建立对注意力真正作用、位置编码如何工作以及各层如何结合进行预测的直觉。
• 优化生产部署：学习量化、KV缓存和闪存注意力如何帮助Transformer在GPU上高效运行。

为何加入

如果你曾使用过LLM，你很可能遇到过推理速度慢、内存不足或无法解释的幻觉问题。关于Transformer工作原理的资源并不少，但它们大多要么要求你从头开始构建一个，要么深陷于理论中，而无法与你实际面临的问题联系起来。

《实战中的Transformer》则不同。由AMD工程与AI副总裁Sharon Zhou授课，这门课程为你提供一个完整且实用的视角，了解Transformer如何工作——从如何生成文本，到模型内部发生了什么，再到这一切如何被优化以在实际硬件上运行。全程的交互式可视化让你看到关键概念的实际运作，并建立真正持久的直觉。

以下是你会学到什么：

• 模型行为：你将学习LLM如何通过自回归循环生成文本，从概率分布中一次选择一个词。你将看到温度等采样参数如何影响输出，幻觉为何发生，以及RAG、约束生成和思维链推理等技术如何都在同一循环内工作。
• 模型架构与注意力：你将深入了解Transformer内部，理解注意力的真正作用，位置编码如何跟踪词序，以及多个层和注意力头如何协同工作，将输入序列转化为下一个词的预测。
• 扩展与部署：你将学习为什么GPU非常适合Transformer推理，以及真正的瓶颈在哪里。你将建立对量化、KV缓存、闪存注意力和推测解码的实用直觉，包括每种技术带来的成本、速度和输出质量权衡。

完成课程后你将获得证书，以认可你在基于Transformer的语言模型方面的技能。

合作方

null我们与AMD合作开发了这门课程，以帮助工程师们不再将LLM视为黑箱。你将建立对Transformer如何生成文本、处理上下文以及在GPU上高效运行的实用直觉，同时学习适用于各种基于Transformer的模型和硬件环境的技术与概念。

谁应该加入？

这门课程面向软件工程师、机器学习工程师以及使用LLM的开发人员，他们希望了解引擎盖下究竟发生了什么。

你不需要从头构建过模型，但应该能够通过API或聊天界面熟练使用LLM，并对权重、层和训练等神经网络概念有基本了解。

课程大纲

实战中的Transformer

模块1：观察到的行为

模块2：LLM内部结构和注意力

模块3：扩展与部署

讲师

Sharon Zhou

Sharon Zhou

AMD工程与AI副总裁

• https://www.linkedin.com/in/zhousharon
• https://www.twitter.com/realSharonZhou

往期课程学员对DeepLearning.AI的评价

常见问题

我有关于DeepLearning.AI Pro订阅的问题，可以问谁？

请发送电子邮件至[email protected]获取帮助。

Pro会员费用是多少？

DeepLearning.AI Pro会员费用为每年25（按月计费）和每月30（按月计费）。

更多定价详情请参见会员页面 (https://learn.deeplearning.ai/membership)。

重要细节：

• 所有价格均以美元列出
• 付款通过Stripe安全处理
• 根据您所在地点，可能适用税费

课程结束时我会获得证书吗？

是的！如果你是DeepLearning.AI Pro会员，完成课程后将获得证书，以认可你在AI提示工程方面的技能。