注意力机制（Attention）

用一个例子理解

「小林把书交给老师，老师翻开了它。」理解最后的「它」需要结合前面的内容。图中加粗联系仅用于解释信息汇集，不是对真实模型内部权重的测量。

再深入一层

常见缩放点积注意力用查询 Q 与键 K 计算相似分数，经归一化后加权求和内容 V。它们是由数值表示变换得到的向量，不是三个文本文件。多个注意力头可以在不同子空间进行交互。

它不能说明什么

注意力权重不是人类心理意义的专注，也不能单独证明模型的因果推理过程。因果语言模型不能在生成当前位置时偷看未来答案，图示使用已出现的内容。

接下来可以了解

• Transformer 结构（Transformer）
• 键值缓存（KV Cache）
• 上下文窗口（Context Window）

资料依据

• Attention Is All You Need：Transformer 是以注意力为核心的模型结构；原论文包含编码器与解码器。
• Hugging Face · Caching：自回归推理中按层复用历史 K/V；注意力 Q/K/V 和缓存内存开销。

资料核验于 2026-09-09；原论文用于说明机制，文中例子为教学示例。