Nov
14
最近圈内老黄有些火，借机拆解大模型从预训练、后训练到推理的完整链路，讲清前向、损失、反向传播、优化器、分布式通信这些底层环节；再客观梳理国内 AI 芯片当前落地能力，以及和英伟达成熟生态之间真实、可验证的差距。
一、LLM 基础流程：预训练、后训练、推理
1. 预训练（Pretrain）
预训练是大模型能力底座的搭建阶段：用海量无标注文本，让模型学习语言规律、事实知识、逻辑范式。
- 前向传播（Forward）：文本转成 token 送入模型，逐层做矩阵运算，输出每个位置下一个词的预测概率。也就是图里算力公式 \(C\approx6\cdot N\cdot D\) 里的「2」—— 前向只占 2 份计算量。
- 损失函数（Loss）：对比模型预测结果和真实下一个 token，算出预测偏差（交叉熵损失），用来衡量模型现在 “猜得准不准”。
- 反向传播（Backward）：沿着网络从后往前求导，算出每个参数对应的梯度 g，也就是这个参数该往哪个方向调整才能降低损失。反向计算量更大，对应公式里的「4」，一轮训练前向 + 反向合计约 6 倍 \(N\cdot D\) 的 FLOPs。
- 优化器更新（以 AdamW 为例）
就是第一张图展示的混合精度存储结构：
- \(\theta\)：模型参数，BF16，2 字节；
