CS336: LLM from Scratch Lecture Notes and Assignments

CS336是关于从零开始构建大型语言模型的综合课程，涵盖了从Transformer架构的基础知识，到MoE模型，GPU加速，Parallelism训练，模型的评估，数据的收集和处理，以及LLM的对齐算法等最新的进展。这个页面包含了CS336课程的所有学习笔记和作业解答。

Related Resources:

Lecture Website: CS336 LLM from Scratch
Lecture Recordings: YouTube Playlist
My Solution Repo: GitHub

About this Course:

This course has 17 Lectures and 5 Assignments in total.
It might take around 200 hours to finish all the lectures and assignments.

For those who have limited time, I recommend focusing on the following key lectures and assignments:

LECTURE 1, 2, 3, 4 & Assignment01: After completing these, you will have a solid understanding of the fundamentals of LLMs, such as the Transformer Language Model architecture, attention mechanism, Mixture of Experts, and the training process of LLMs using autoregressive language modeling.
LECTURE 15, 16, 17 & Assignment05: These cover advanced topics such as LLM aligment algorithms, such as SFT, RLHF(PPO, DPO), and RLVR(GRPO, Dr.GRPO). After completing these, you will understand how to align LLMs with human preferences and train a reasoning LLM.
LECTURE 5, 6, 7, 8 & Assignment02: These focus on the hardware and parallelism techniques for training large models. After completing these, you will understand how to efficiently train large LLMs using distributed systems, such as data parallelism, model parallelism, and pipeline parallelism, and speed up the training process by leveraging the power of GPU, and undertand FlashAttention and its implementation.
The remaining lectures and assignments are also important, but they can be studied at a later time based on your interests and needs. Those includes:
- Lecture 9 & 11: Scaling Laws
- Lecture 10: Inference Optimization
- Lecture 12 & Assignment 03: Evaluation of LLMs
- Lecture 13, 14 & Assignment 04: Data Collection and Processing

Lectures Notes

Lecture 01: Introduction & Tokenization

Lecture01介绍了课程的大纲以及LLM的现状和基本概念。在课程的后半段介绍了Language Modeling的第一步，即Tokenization的基本概念和常用方法。着重介绍了Byte Pair Encoding (BPE)算法的原理和实现。在学习完Lecture 01后，我们可以开始尝试Assignment 01的第一部分，即BPE-Tokenization的实现

Lecture 02: PyTorch Basics & Resource Accounts

Lecture02 介绍了PyTorch的基本概念和使用方法。可以将这节课当作一个review，复习一下之前学过的PyTorch知识点。同时，课程中介绍了一个 einops 的库，可以简化张量操作的代码编写。这节课也介绍了不同数据类型（如FP32, FP16, BF16等）在深度学习中的应用和优缺点。并且通过计算这些数据类型在内存中的占用，帮助我们理解为什么有些数据类型更适合在有限资源下进行训练, 并且在什么情况下需要应用混合精度训练（Mixed Precision Training），什么情况下需要用高精度的数据类型。在课程的最后，还介绍了不同的Optimizer（如SGD, Adam等）的基本原理和使用场景

Lecture 03: LM Model Architecture & Hyperparameters

Lecture03 介绍了现代大语言模型的核心架构与超参数设计。课程对比了原始 Transformer 与主流 LLaMA-like 架构，总结了 pre-norm、RMSNorm、SwiGLU、RoPE 等关键设计的经验共识，并结合大量近期模型实践，讲解了 MLP 宽度比例、注意力头配置、模型深宽比与词表规模等超参数选择原则。同时还介绍了 z-loss、QK-Norm、MQA/GQA 等用于提升训练稳定性和推理效率的关键技巧。

Lecture 04: Introduction to MoE

Lecture 04 介绍了 MoE（Mixture of Experts）的基本概念和原理。从模型架构、路由机制、训练方法等方面进行了详细讲解，并讨论了 MoE 在自然语言处理中的应用和优势。

Lecture 05 & 06: GPUs, Kernels & Flash Attention

Lecture05介绍了GPU的基本架构与工作原理，并且介绍了几种提升计算效率的方法，比如Kernel Fusion, Memory Coalescing Tiling 等，并且在课程最后介绍了Flash Attention的原理及其实现细节。在Lecture06中，主要介绍了Triton，一个用于编写高性能GPU代码的开源编译器。内容涵盖了Triton的基本概念、编程模型以及如何使用Triton编写高效的GPU内核。通过实际示例，展示了Triton在深度学习中的应用和优势。

Lecture 07 & 08: Parallelism Training

Lecture 07与08介绍了深度学习中的并行训练方法，包括Data Parallelism， Model Parallelism，ZeRO，Pipleline Parallelism等技术。重点讲解了各类并行方法的原理、实现及其在大规模模型训练中的应用。个人认为这两节内容非常重要，理解这些并行训练技术对于处理大规模深度学习模型至关重要。

Lecture 09 & 11: Scaling Laws

为什么LARGE language models在规模上表现更好？Lecture 09和11介绍了Scaling Laws的基本概念和原理，探讨了模型规模、数据规模与计算资源之间的关系。内容涵盖了不同类型的Scaling Laws（如参数规模、数据规模和计算规模）以及它们对模型性能的影响。通过实际案例，展示了Scaling Laws在深度学习中的应用和重要性。

Lecture 10: Inference & Deployment

训练完LLM之后，如何进行高效的推理和部署是非常重要的。Lecture 10介绍了模型压缩、量化、蒸馏等技术，以提升推理效率和降低资源消耗。此外，还讨论了模型部署的常见方法和挑战，包括云端部署、本地部署以及边缘计算等。通过这些技术，可以更好地将训练好的模型应用于实际场景中。

Lecture 12: Evaluation Metrics

Lecture 12介绍了评估语言模型性能的各种指标和方法。内容涵盖了传统的评估指标，如困惑度（Perplexity）、准确率（Accuracy）等，以及更适用于生成任务的指标，如BLEU、ROUGE和METEOR等。此外，还讨论了人类评估的重要性及其在模型评估中的作用。通过这些评估方法，可以更全面地了解语言模型的表现和改进方向。

Lecture 13 & 14: Data

要想训练好一个LLM，除了有强大的模型架构和充足的计算资源，数据同样至关重要。Lecture 13和14深入探讨了用于训练大型语言模型的数据收集、清洗和处理方法。内容涵盖了不同类型的数据源（如网络文本、书籍、对话数据等），以及如何进行数据预处理以提升模型性能。此外，还介绍了数据增强技术和数据质量评估方法，帮助我们更好地理解如何利用高质量的数据来训练出更优秀的语言模型。

Lecture 15: LLM Alignment SFT & RLHF(PPO, DPO)

Lecture15主要梳理 LLM 的后训练（Post-Training）主线：从监督微调（SFT）的数据与目标函数出发，解释为何SFT可以让模型获得一定的Instruct Following的能力，并系统介绍 RLHF 的奖励模型训练与 PPO 更新流程，进一步对比 DPO/SimPO 等将 RL 简化为监督学习的替代方案。最后总结 RLHF 的关键风险（reward hacking、model collapse），并说明为何需要走向可验证奖励的 RLVR 来提升推理能力与训练稳定性。

Lecture 16 & 17: LLM Alignment SFT & RLVR（GRPO）

这节介绍了PPO，以及DPO所存在的问题，并且引出了Reinforcement Learning from Verified Rewards (RLVR)的新方法GRPO。内容包括Advantage Function、Length Normalization关键技术细节，并通过DeepSeek-R1、Kimi 1.5和Qwen3等案例展示了GRPO在实际中的应用。而Lecture17则通过一个排序任务的具体例子，详细讲解了GRPO算法的实现细节，包括数据生成、奖励函数设计、模型架构以及训练过程，在这里就把两节课合成一节课来写。