用一个例子理解
要让模型更稳定地使用某种教案格式,可以准备高质量示范并使用 LoRA 进行微调。和在对话中附上模板相比,这会训练一部分参数,但仍需要数据和算力。
看图理解把不同作用放在一起看
01原有模型权重
通常冻结不更新
02低秩适配矩阵
训练较少的参数
03共同参与计算
改变目标任务上的输出
再深入一层
大型权重矩阵的更新可以用两个较小矩阵的乘积来表示,这就是「低秩」的直观含义。LoRA 选择训练这些较小矩阵,而不是对所有原有权重做全量更新。它可以与监督微调等训练目标组合。
它不能说明什么
LoRA 是参数适配方法,不是新的模型架构,也不是给模型接资料库的协议。参数更省不等于数据随便选就能学好;领域事实是否准确仍需检索或评估验证。
接下来可以了解
资料依据
- LoRA: Low-Rank Adaptation of Large Language Models:冻结预训练权重,训练低秩矩阵;参数高效适配方法。
资料核验于 2026-09-09;原论文用于说明机制,文中例子为教学示例。