模型推理（Inference）

用一个例子理解

教师把课程目标和教材摘要交给 AI，模型生成活动建议。这个阶段是在使用已有能力；即使回答考虑了新教材，也不表示参数当场学会了它。

再深入一层

在常见自回归语言模型中，系统先处理输入，再逐步生成词元。选取词元可以使用不同采样规则，所以同一个要求可能有不同回答。「推理」在机器学习中指运行模型，不保证这次一定进行了可靠的逻辑论证。

它不能说明什么

这里描述常见文本生成模型。图像生成等模型可能采用不同生成过程。服务还可以在外部增加检索、工具调用或检查循环，这些不应全部归为模型自身的一次计算。

接下来可以了解

• 下一词元预测（Next-token Prediction）
• 键值缓存（KV Cache）
• 上下文窗口（Context Window）

资料依据

• Hugging Face · Caching：自回归推理中按层复用历史 K/V；注意力 Q/K/V 和缓存内存开销。
• Hugging Face · How do Transformers work?：预训练与微调、不同结构与训练目标。

资料核验于 2026-09-09；原论文用于说明机制，文中例子为教学示例。