@_yusufknl: 作为一个从GPT-2时代就开始部署LLM的人，这位斯坦福数学毕业生关于交叉熵的讲座是…

X AI KOLs Timeline 新闻
machine-learning-education cross-entropy language-models llm compression

摘要

一位从业者推荐了一场免费的33分钟关于交叉熵的讲座，该讲座将语言模型重新定义为压缩而非下一个词预测，并比作斯坦福机器学习博士资格考试。

作为一个从GPT-2时代就开始部署LLM的人，这位斯坦福数学毕业生关于交叉熵的讲座是我见过的免费公开内容中最接近机器学习博士资格考试的东西。 每个人都认为语言模型预测下一个词。其实不是。它们在压缩语言。一旦你理解了其中的数学原理，你就再也无法视而不见了。 33分钟。立即收藏并观看。
查看原文
查看缓存全文

缓存时间: 2026/07/20 09:29

作为从GPT-2时代就开始部署大语言模型的人，这位斯坦福数学专业毕业生关于交叉熵的讲座，是我见过最接近机器学习博士资格考试水准的公开免费资源。

所有人都以为语言模型是在预测下一个词。其实不是。它们是在压缩语言。一旦你理解了背后的数学原理，就再也无法忽视它。

33分钟。立即收藏观看。

相似文章