预训练、微调与对齐：LLM的三阶段炼成之路
理解大语言模型如何从"一张白纸"成长为强大的AI助手，是掌握LLM技术的关键。 本讲将深入讲解LLM训练的三个核心阶段：预训练（Pre-training）学习通用语言知识、 微调（Fine-tuning）适应特定任务、对齐（Alignment）符合人类价值观和偏好。 这三个阶段相辅相成，共同塑造了有用、无害、准确的现代大语言模型。
Pre-training
Fine-tuning
Alignment/RLHF
预训练是LLM获得基础能力的关键阶段。模型在海量通用文本（数TB级别）上进行自监督学习， 核心任务是预测下一个词（语言建模）。通过这个看似简单的任务，模型学会了词法、句法、语义、 常识、甚至推理等复杂能力。这就像婴儿通过大量听和看来学习语言。
预测下一个词，从左到右单向建模
要准确预测下一个词，模型必须理解：词法（词的形态）、句法（语法结构）、语义（意思）、 上下文（前后关系）、甚至常识和逻辑。这个简单任务迫使模型学习语言的方方面面。 更神奇的是，当模型足够大、数据足够多时，会涌现出翻译、数学、编程等未明确训练的能力！
预训练的效果与模型参数量、数据量、计算量呈幂律关系。GPT-3（1750亿参数）的能力 远超GPT-2（15亿参数），证明了"大力出奇迹"。这也解释了为什么科技巨头竞相训练 千亿、万亿参数的超大模型。
预训练模型虽然强大，但往往不够"听话"或针对性不强。微调阶段使用少量标注数据， 让模型适应特定任务（如问答、摘要、翻译）或特定领域（如医疗、法律）。 这就像一个博学的学生，经过针对性培训成为某个领域的专家。
更新所有参数。效果最好但计算成本高，需要大量显存。 适合有充足资源、数据较多的场景。
只训练少量参数，冻结大部分预训练权重。大幅降低计算成本。
使用（指令，回答）格式数据，教会模型follow instructions。 这是ChatGPT等对话模型的关键步骤，让模型理解并执行各种指令。
微调时可能遗忘预训练学到的通用知识。解决方法：使用较小学习率、混合通用数据、 采用PEFT方法保持大部分参数不变。平衡任务性能和通用能力是微调的关键。
微调后的模型虽然能完成任务，但可能不够安全、友好或符合人类价值观。 对齐阶段通过RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）， 让模型学会拒绝不当请求、提供有用回答、承认不确定性。这是ChatGPT成功的秘密武器。
人类标注员对模型输出进行排序（哪个回答更好）。 训练一个奖励模型来预测人类的偏好，模型输入是（提示，回答），输出是分数。
使用奖励模型作为反馈信号，通过PPO（Proximal Policy Optimization）等RL算法， 优化语言模型的策略。目标是最大化奖励模型给出的分数。
持续收集人类反馈，更新奖励模型，再次优化语言模型。 这个迭代过程逐步将模型行为对齐到人类期望。
ChatGPT vs InstructGPT的对比实验表明：经过RLHF的模型不仅更有用（输出更符合需求）， 而且更安全（减少有害内容）、更真实（减少幻觉）。人类评估显示，经过RLHF的模型回答 质量显著优于单纯的SFT模型，即使参数量更小。这证明了"对齐"比"规模"更重要。
通过"宪法"原则自我对齐，减少人工标注
直接优化偏好，无需训练独立的奖励模型
| 维度 | 预训练 | 微调 | 对齐 |
|---|---|---|---|
| 目标 | 学习通用语言知识 | 适应特定任务 | 符合人类价值观 |
| 数据 | 海量无标注文本（TB级） | 少量标注数据（千-百万） | 人类偏好标注（万级） |
| 学习方式 | 自监督学习 | 监督学习 | 强化学习 |
| 计算成本 | 极高（百万美元级） | 中等（千-万美元） | 较低（万美元级） |
| 训练时间 | 数周到数月 | 数小时到数天 | 数天到数周 |
| 参数更新 | 全部参数从零学习 | 全部或部分参数调整 | 全部参数微调调整 |
| 典型模型 | GPT-3、LLaMA | ChatGPT（SFT后） | ChatGPT（RLHF后） |
在数TB文本上训练，获得强大的语言理解和生成能力
使用人工标注的高质量对话数据（约13,000对话），教会模型对话能力
通过人类偏好数据训练奖励模型，再用强化学习优化，让模型更有用、更安全
有用、无害、诚实的AI助手
通用语言知识是一切的基础。没有预训练，模型无法理解语言。 规模越大，能力越强（Scaling Law）。
让通用模型成为领域专家。PEFT方法（如LoRA）让微调变得高效、 经济、灵活。
能力强不等于好用。RLHF让模型符合人类期望， 是ChatGPT成功的秘密。对齐比规模更重要。