今年@GeorgiaTech的CS 8803“大语言模型“课程已更新，面向2026届学生！

阅读清单涵盖预训练、MoE、推理、强化学习与自我博弈、智能体、长上下文、测试时缩放、扩散语言模型、安全性、可解释性等多个前沿方向。

https://cocoxu.github.io/CS8803-LLM-spring2026/… https://docs.google.com/spreadsheets/d/1Oisf4imoNL3fs4UWGYAUlMCuYfCACMHCDb0iqEYU8wc/edit?usp=sharing…

CS 8803 - 大语言模型

课程主页：https://cocoxu.github.io/CS8803-LLM-spring2026/

https://cocoxu.github.io/CS8803-LLM-spring2026/#cs-8803-llm—large-language-models-georgia-techCS 8803 大语言模型（Georgia Tech）

课程网站 CS 8803-LLM

• 讲师：Wei Xu (https://cocoxu.github.io/)
• 授课时间：周一、周三 下午 2:00-3:15

https://cocoxu.github.io/CS8803-LLM-spring2026/#schedule-subject-to-change-as-the-term-progresses课程安排（可能随学期进展调整）

1月12日

课程概览

课程介绍 (https://docs.google.com/presentation/d/1EGUaR_Q_unPv50d6CB_W-_kQ-QbcV2k59bG0avkUUPw/edit?usp=sharing)如何阅读论文 (https://www.cs.jhu.edu/~jason/advice/how-to-read-a-paper.html)

2月2日

预训练

Chameleon: 一种灵活的语言模型数据混合框架… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-02/chameleon-a-flexible-data-mixing-framework-for.pdf)论文 (https://arxiv.org/abs/2505.24844)

基于公平意识的字节对编码：改进跨语言… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-02/parity-aware-byte-pair-encoding-improving-cross.pdf)论文 (https://arxiv.org/abs/2508.04796)

2月4日

词嵌入

使用大语言模型改进文本嵌入 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-04/improving-text-embeddings-with-large-language-models.pdf)论文 (https://arxiv.org/abs/2401.00368)

MMTEB：大规模多语言文本嵌入基准 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-04/mmteb-massive-multilingual-text-embedding-benchmark.pdf)论文 (https://arxiv.org/abs/2502.13595)

2月9日

词嵌入

DeepSeek-V2：强大、经济且高效的混合专家… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-09/deepseek-v2-a-strong-economical-and-efficient-mixture.pdf)论文 (https://arxiv.org/abs/2405.04434)

NV-Embed：将大语言模型训练为通用…的改进技术 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-09/nv-embed-improved-techniques-for-training-llms-as.pdf)论文 (https://arxiv.org/abs/2405.17428)

2月11日

混合专家模型

异常庞大的神经网络：稀疏门控混合… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-11/outrageously-large-neural-networks-the-sparsely-gated.pdf)论文 (https://arxiv.org/abs/1701.06538)

你的混合专家大语言模型其实秘密地是一个嵌入模型… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-11/your-mixture-of-experts-llm-is-secretly-an-embedding.pdf)论文 (https://arxiv.org/abs/2410.10814)

2月16日

推理

BIRD：一个用于大型…的可信赖贝叶斯推理框架 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-16/bird-a-trustworthy-bayesian-inference-framework-for.pdf)论文 (https://arxiv.org/abs/2404.12494)

2月18日

推理 / 对齐

直接偏好优化：你的语言模型秘密地… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-18/direct-preference-optimization-your-language-model-is.pdf)论文 (https://arxiv.org/abs/2305.18290)

训练一个具有普遍好奇心的智能体 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-18/training-a-generally-curious-agent.pdf)论文 (https://arxiv.org/abs/2502.17543)

2月23日

智能体工具

智能体工作流记忆 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-23/agent-workflow-memory.pdf)论文 (https://arxiv.org/abs/2409.07429)

OpenHands软件智能体SDK：一个可组合且可扩展的… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-23/the-openhands-software-agent-sdk-a-composable-and.pdf)论文 (https://arxiv.org/abs/2511.03690)

2月25日

长上下文

具有注意力汇聚点的高效流式语言模型 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-02-25/efficient-streaming-language-models-with-attention.pdf)论文 (https://arxiv.org/abs/2309.17453)

3月2日

注意力机制

DeepSeek-V3.2：推动开源大型语言…的前沿 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-03-02/deepseek-v3-2-pushing-the-frontier-of-open-large.pdf)论文 (https://arxiv.org/abs/2512.02556)

TransMLA：多头潜在注意力就是你所需要的一切 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-03-02/transmla-multi-head-latent-attention-is-all-you-need.pdf)论文 (https://arxiv.org/abs/2502.07864)

3月4日

强化学习

GRPO、DAPO 与“理解类R1-Zero训练” (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-03-04/grpo-dapo-and-understanding-r1-zero-like-training.pdf)

3月9日

推理

Optimas：使用全局对齐…优化复合人工智能系统 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-03-09/optimas-optimizing-compound-ai-systems-with-globally.pdf)论文 (https://arxiv.org/abs/2507.03041)

3月11日

推理

CWM：一个用于代码生成研究的开源权重大语言模型… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-03-11/cwm-an-open-weights-llm-for-research-on-code.pdf)论文 (https://arxiv.org/abs/2510.02387)

3月16日

自我博弈强化学习

绝对零点：使用零数据的强化自我博弈推理 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-03-16/absolute-zero-reinforced-self-play-reasoning-with.pdf)论文 (https://arxiv.org/abs/2505.03335)

3月18日

自我博弈强化学习

SPICE：在语料库环境中的自我博弈改进推理 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-03-18/spice-self-play-in-corpus-environments-improves.pdf)论文 (https://arxiv.org/abs/2510.24684)

通过自我博弈训练超级智能软件智能体… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-03-18/toward-training-superintelligent-software-agents.pdf)论文 (https://arxiv.org/abs/2512.18552)

3月30日

测试时缩放

学习在测试时发现 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-03-30/learning-to-discover-at-test-time.pdf)论文 (https://arxiv.org/abs/2601.16175)

最优地缩放大语言模型测试时计算可能比…更有效 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-03-30/scaling-llm-test-time-compute-optimally-can-be-more.pdf)论文 (https://arxiv.org/abs/2408.03314)

4月1日

模式坍塌

人工蜂巢思维：语言模型的开放式同质性… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-01/artificial-hivemind-the-open-ended-homogeneity-of.pdf)论文 (https://arxiv.org/abs/2510.22954)

4月6日

线性Transformer

线性Transformer实际上是快速权重编程器 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-06/linear-transformers-are-secretly-fast-weight.pdf)论文 (https://arxiv.org/abs/2102.11174)

使用Delta规则并行化线性Transformer… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-06/parallelizing-linear-transformers-with-the-delta-rule.pdf)论文 (https://arxiv.org/abs/2406.06484)

4月8日

扩散语言模型

扩散-LM改进可控文本生成 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-08/diffusion-lm-improves-controllable-text-generation.pdf)论文 (https://arxiv.org/abs/2205.14217)

大型语言扩散模型 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-08/large-language-diffusion-models.pdf)论文 (https://arxiv.org/abs/2502.09992)

4月13日

安全性

涌现性失调：窄微调可能导致广谱… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-13/emergent-misalignment-narrow-finetuning-can-produce.pdf)论文 (https://arxiv.org/abs/2502.17424)

注意力头在大型语言模型安全中的作用… (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-13/on-the-role-of-attention-heads-in-large-language.pdf)论文 (https://arxiv.org/abs/2410.13708)

4月15日

机制可解释性

扩展和评估稀疏自编码器 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-15/scaling-and-evaluating-sparse-autoencoders.pdf)论文 (https://arxiv.org/abs/2406.04093)

用于跨层特征和模型差异…的稀疏交叉编码器 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-15/sparse-crosscoders-for-cross-layer-features-and-model.pdf)论文 (https://transformer-circuits.pub/2024/crosscoders/index.html)

4月20日

校准

使用大语言模型进行主动任务消歧 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-20/active-task-disambiguation-with-llms.pdf)论文 (https://arxiv.org/abs/2502.04485)

学习使用置信度令牌路由大语言模型 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-20/learning-to-route-llms-with-confidence-tokens.pdf)论文 (https://arxiv.org/abs/2410.13284)

4月22日

缩放定律

精度缩放定律 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-22/scaling-laws-for-precision.pdf)论文 (https://arxiv.org/abs/2411.04330)

训练计算最优的大型语言模型 (https://cocoxu.github.io/CS8803-LLM-spring2026/presentations/2026-04-22/training-compute-optimal-large-language-models.pdf)论文 (https://arxiv.org/abs/2203.15556)