训练数据（Training Data）

用一个例子理解

备课示例如果全部来自高中材料，即使数量很多，也未必教会模型给小学生安排活动。若测试题早已混进训练样本，测试高分还可能夸大实际能力。

再深入一层

数据处理通常涉及筛选、清洗、去重和组织样本。不同训练任务需要不同形式：语言预训练可从文本构造下一个词元目标，监督微调常使用指令和示范答案，偏好训练则使用候选答案的比较信息。

它不能说明什么

三份数据不能只是名字不同而大量内容重复。实际划分要考虑相同来源、相似题目与时间范围，否则评估仍可能泄漏。这里的三份用途是教学简化。

接下来可以了解

• 预训练（Pretraining）
• 监督微调（SFT）
• 模型评估（Evaluation）

资料依据

• PyTorch · Optimizing Model Parameters：批次、学习率、损失、梯度、SGD 更新与测试集评估。
• Training language models to follow instructions with human feedback：InstructGPT 示例：示范数据、人工排序、通过反馈进行后训练。

资料核验于 2026-09-09；原论文用于说明机制，文中例子为教学示例。