用一个例子理解

要让模型更稳定地使用某种教案格式,可以准备高质量示范并使用 LoRA 进行微调。和在对话中附上模板相比,这会训练一部分参数,但仍需要数据和算力。

看图理解把不同作用放在一起看
01原有模型权重

通常冻结不更新

02低秩适配矩阵

训练较少的参数

03共同参与计算

改变目标任务上的输出

各项是不同角色或可选方式,不表示必须依次执行。

再深入一层

大型权重矩阵的更新可以用两个较小矩阵的乘积来表示,这就是「低秩」的直观含义。LoRA 选择训练这些较小矩阵,而不是对所有原有权重做全量更新。它可以与监督微调等训练目标组合。

它不能说明什么

LoRA 是参数适配方法,不是新的模型架构,也不是给模型接资料库的协议。参数更省不等于数据随便选就能学好;领域事实是否准确仍需检索或评估验证。

接下来可以了解

资料依据

资料核验于 2026-09-09;原论文用于说明机制,文中例子为教学示例。