Stanford CS336 — 积雨云的空间站

CHAPTER 01

Guest Lecture · Dan Fu

1 篇

2026年9月21日
从推理服务的角度看语言模型：token 的一生、Megakernel 与 Parcae
Stanford CS336 Spring 2026 客座讲座完整转录。Dan Fu 从生产推理请求讲到 KV Cache、Megakernel，再到循环 Transformer Parcae。

CHAPTER 02

第 1 讲

1 篇

2026年9月21日
CS336 第一讲：课程概览与 tokenization
这堂课是 Stanford CS336《Language Modeling from Scratch》2026 年春季的第一讲，内容是课程概览、教学团队介绍、课程安排、五次作业和五个单元的总览，并在最后进入第一个单元：tokenization。

CHAPTER 03

第 2 讲

1 篇

2026年9月21日
资源核算：张量、精度、einops、FLOPs、算术强度与内存
这堂课从 Marin 项目 1e23 FLOPs 训练完成讲起，然后系统讲了张量与精度（fp32/fp16/bf16/fp8/fp4）、einops 的 einsum/reduce/rearrange、FLOPs 核算与 MFU、算术强度与 roofline 分析，最后落到训练中的梯度、优化器状态内存，以及梯度累积和激活检查点这两个省内存的技巧。

CHAPTER 04

第 3 讲

1 篇

2026年9月21日
从零开始的语言建模：架构
我们会从一种综述的视角来理解架构。最好的做法其实是你自己出去训练模型、尝试不同架构，这比听这节课还有用，这也是这门课哲学的一部分。但我们没有算力和时间覆盖所有架构的整个设计空间。所以我的看法是，第二好的做法就是从别人的经验里学习：别人都做了什么，他们在做哪些选择。通过看一个更广、更拉远的图景，也许我们能开始理解，哪些参数和选择在所有有效架构里基本固定，哪些可以变化而不影响模型性能。

CHAPTER 05

第 4 讲

1 篇

2026年9月21日
注意力替代方案与专家混合：长上下文、线性注意力与 MoE
我先从注意力开始，先把背景铺垫好。现在人们显然想要更长的上下文长度，想把很多东西塞进上下文里，让模型拥有更多知识；也许模型是一个 agent，要在很多东西上操作。如果看不同模型随时间的变化，横轴是时间，纵轴是上下文窗口大小，这里是 log 尺度，可以看到很多顶级 LLM 厂商有一个非常明显的竞赛：提供越来越大的上下文窗口，来支持这些更复杂的工作负载。右边这张图还展示了随着序列长度增加，前馈网络部分和注意力部分所花计算成本的比例。前馈网络一开始占比很大，但线性增长；注意力是不同

CHAPTER 06

第 5 讲

1 篇

2026年9月21日
Stanford CS336 Lecture 5：GPU、TPU 与 FlashAttention
这堂课从 GPU 的硬件与编程模型讲起，梳理让 GPU 跑快的六个技巧，最后用 FlashAttention 把所有概念串起来。

CHAPTER 07

第 6 讲

1 篇

2026年9月21日
GPU 编程模型、性能陷阱与 Triton 内核入门
此外还有 L1 缓存和共享内存（shared memory）。记住，它们在同一块内存上，但共享内存你可以控制，L1 你不能。这是每个 SM 的。还有 L2 缓存，不属于单个 SM，而是整个芯片，稍微大一些。最后是高带宽内存（High Bandwidth Memory, HBM），很大，而且这个数字增长得相当多。除了大小，还要考虑带宽，基本上与大小成反比：寄存器非常快，L1 稍慢，L2 更慢，HBM 最慢，尽管 8 TB/s 在大局中也不算慢。这是你脑子里应该有的主要层次：大内

CHAPTER 08

第 7 讲

1 篇

2026年9月21日
CS336 第七讲：并行——集合通信原语与三种并行策略
这堂课先讲分布式通信原语和 GPU 互连的硬件层级，再用 MLP 的极简实现演示数据并行、张量并行和流水线并行三种切分模型的方式。

CHAPTER 09

第 8 讲

1 篇

2026年9月21日
从零训练语言模型：并行策略的全景与实战
这堂课系统讲解大模型训练中的各种并行策略——数据并行、ZeRO/FSDP、流水线并行、张量并行、专家并行和上下文并行——以及如何把它们组合起来，在超大集群上跑满算力。

CHAPTER 10

第 9 讲

1 篇

2026年9月21日
语言模型缩放定律基础：从数据幂律到 Chinchilla 算力最优
由于排课限制，下一讲会是推理，所以你会来回切换：先缩放定律，再推理，再回到缩放定律。

CHAPTER 11

第 10 讲

1 篇

2026年9月21日
推理：从算术强度到 KV Cache 缩减
这堂课讲推理为什么越来越重要、如何用 TTFT／延迟／吞吐量衡量它、Transformer 推理的算术强度分析，以及减少 KV cache、量化、剪枝、推测解码和动态批处理等加速方法。

CHAPTER 12

第 11 讲

1 篇

2026年9月21日
从 Chinchilla 到前沿开源模型：scaling law 的实践、超参数与优化器
这堂课讲如何把 scaling law 用到真实模型训练中，涵盖 MiniCPM、DeepSeek 等开源模型的 scaling 经验，学习率、batch size、优化器和 muP 初始化。

CHAPTER 13

第 12 讲

1 篇

2026年9月21日
语言模型评估：从困惑度到智能体，我们究竟在衡量什么
这堂课的标题是评估。它系统梳理了衡量语言模型好坏的各类方法——困惑度、考试型基准、聊天基准、智能体基准、纯推理基准与安全基准——并讨论了污染、生态效度、数据集质量，以及\"评估究竟为了什么\"这个更根本的问题。

CHAPTER 14

第 13 讲

1 篇

2026年9月21日
数据：语言模型训练中最重要、最混乱、也最受法律约束的一环
一个证据是公司实际披露了什么。Llama 3 论文对架构完全透明——当然，因为它是开放权重模型——甚至还讲了训练过程，但他们对数据什么也不说，只说训练了各种数据源、做了一些处理。保密有很好的理由：第一，数据是竞争秘方，你不想让竞争者知道你在做什么；第二，版权责任，你不想因为告诉别人你在某些类型数据上训练而被起诉。

CHAPTER 15

第 14 讲

1 篇

2026年9月21日
从原始网页到后训练数据：变换、过滤、去重与混配
这堂课接续上一讲的数据主题，讲预训练数据流水线中的变换、过滤、去重、混配，并概览后训练数据尤其是合成数据的使用。

CHAPTER 16

第 15 讲

1 篇

2026年9月21日
从 GPT-3 到 ChatGPT：后训练、SFT 数据与 RLHF
OK. 欢迎回来。我们现在要离开预训练。接下来要进入的，在我看来，是语言建模中一些更混乱的部分。数据一直都很乱，但后训练（post-training）以及随之而来的一切，在很多方面确实非常手工化、艺术化。

CHAPTER 17

第 16 讲

1 篇

2026年9月21日
CS336 第十六讲：从可验证奖励中做强化学习（RLVR）
这是后训练系列的第二讲，讲 RLVR——用可验证奖励做强化学习，以及 GRPO、PPO 这些核心算法如何支撑起\"思考模型\"的长思维链能力；随后逐一拆解 DeepSeek R1、Kimi K1.5、Qwen 3 和 Qwen3-Coder-Next 的技术报告，看这些算法在真实模型里怎么落地。

CHAPTER 18

第 17 讲

1 篇

2026年9月21日
多模态：从 CLIP、SigLIP 到 LLaVA、Qwen 与 Chameleon
本讲是多模态模型的概览：先讲 CLIP 与 SigLIP 这两个图像编码器，再讲 LLaVA 和 Qwen 两族视觉语言模型如何把图像接入语言模型，最后讨论 Chameleon 的全离散 token 方案以及多模态建模的根本挑战。

CHAPTER 19

全局总结

2 篇