@AYi_AInotes: 做LLM生产落地的开发老哥们，可以看Andrew Ng刚出的这门课，免费版可以看所有视频和基础代码。 这个课程不是又一遍Attention is All You Need的数学推导， 也不是又一套调prompt的玄学技巧， 更不是又一个从…

X AI KOLs Timeline 新闻
andrew-ng llm-course production inference-optimization hardware-aware transformer deep-learning

摘要

Andrew Ng 推出了一门新的 LLM 生产落地课程，免费版可观看所有视频和基础代码。课程深入讲解 LLM 内部机制、推理优化（如量化、KV Cache、Flash Attention、投机解码）以及硬件感知优化，由 AMD 工程副总裁主讲，旨在帮助开发者将 Transformer 从学术概念转化为可调试、可优化的工程工具。

做LLM生产落地的开发老哥们，可以看Andrew Ng刚出的这门课，免费版可以看所有视频和基础代码。 这个课程不是又一遍Attention is All You Need的数学推导， 也不是又一套调prompt的玄学技巧， 更不是又一个从零写Transformer的玩具项目，它直接把LLM的黑箱给你拆开了。 会让你亲手玩自回归循环， 看着模型一个token一个token生成，看着某一步概率采样走偏， 看着幻觉是怎么一步步从无到有长出来的。 甚至会让你拖动滑块调整temperature，实时看到输出多样性的变化， 看到不同的采样策略到底在改变什么。 以及让你点开每一层每一个注意力头， 看到哪个头在管语法， 哪个头在管事实， 哪个头在管逻辑推理。 最狠的是推理优化部分， 这是所有生产工程师每天都在踩的坑，慢推理，OOM，成本爆炸。 以前所有人都告诉你要换更大的GPU。要加更多的机器。 这门课告诉你， 70%以上的延迟根本不是参数量的问题，是内存带宽的问题，是注意力计算的问题。 量化，KV Cache，Flash Attention，投机解码， 每一个技巧都能让你的模型速度翻2到5倍，精度损失几乎可以忽略。 而且这次是和AMD深度合作，由AMD工程副总裁亲自主讲。 终于有一门课不是只讲CUDA了，终于有人开始讲硬件感知的优化了。 虽然会调用API的人已经满大街都是了，但能看穿模型内部。能诊断问题。能优化成本的人，才是未来三年最稀缺的。 我觉得这门课最大的价值，是它终于把Transformer从一个学术概念，变成了一个你可以摸得到，可以调试，可以优化的工程工具。
查看原文

相似文章