PEFT documentation
RandLora:大模型的全秩参数高效微调
RandLora:大模型的全秩参数高效微调
RandLora 是一种参数高效微调技术,与 LoRA 和 VeRA 类似,但通过执行全秩更新来提升性能。RandLora 在将大模型适配到需要复杂更新的高难度任务时尤为有用,同时保留了 LoRA 的参数效率。RandLora 的全秩更新是通过线性缩放随机基来实现的。随机基是一组多个低秩矩阵,这些矩阵的秩之和大于或等于参数矩阵的全秩。RandLora 的可训练参数是两个对角矩阵(向量),它们以类似于 VeRA 更新的方式与右侧的低秩随机基相乘。为了保持低内存占用,RandLora 使用了一个自定义函数,防止在反向传播期间将不必要的基存储在内存中。
RandLora 的一个显著特点是,与其他 LoRA 类 PEFT 算法相反,增加 RandLora 的随机基础秩会增加可训练参数的数量。因为在 RandLora 中,基础数量乘以基础秩是一个常数,所以降低秩会增加随机基础的数量,从而增加与基础相关的可训练对角基础的数量。
由于降低 RandLora 随机基的秩会增加其数量,对于非常小的秩(通常低于 4 的秩会导致训练时间大幅增加),RandLora 的训练速度可能比 LoRA 更慢。不过这不会影响推理,因为 RandLora 适配器可以合并到预训练权重矩阵中。
RandLora 还支持使用稀疏的三值随机基(仅包含 -1、0 和 1)进行训练。这些基在 Bingham et al. 和 Ping et al. 中有描述,理论上可以通过执行聚合操作而非矩阵乘法来生成权重更新,从而降低计算需求。目前尚不支持此功能。尽管目前并未减少计算量,但在某些情况下,在 RandLora 中使用稀疏随机基可以减少过拟合。对于希望使用稀疏三值基的用户,建议使用 sparse 选项,而不是可能会降低性能的 very_sparse 选项。
与 VeRA 类似,在保存 RandLora 的参数时,可以通过在 VeraConfig 中设置 save_projection=False 来避免存储低秩矩阵。在这种情况下,这些矩阵将根据 projection_prng_key 参数中指定的固定随机种子进行恢复。这可以减小检查点的大小,但我们无法保证在所有设备以及 PyTorch 的所有未来版本上都能实现可复现性。如果您希望确保可复现性,请设置 save_projection=True(这是默认值)。
与 Vera 类似,为了处理不同形状的适配层,RandLora 会为每个维度按所需最大尺寸初始化共享的 A 和 B 矩阵。在前向传播过程中,给定层的子矩阵 A 和 B 会从这些共享矩阵中切片提取,并按论文中的描述使用。例如,适配形状为 (100, 20) 和 (80, 50) 的两个线性层时,将分别创建形状为 (rank, 50) 和 (100, rank) 的 A 和 B 矩阵。随后,要适配形状为 (100, 20) 的层时,将提取形状为 (rank, 20) 和 (100, rank) 的子矩阵 A 和 B。
RandLora 目前存在以下限制:
- 仅支持
nn.Linear层。
该论文的摘要如下:
低秩适应(LoRA)及其变体在减少大型 Transformer 网络的可训练参数数量和内存需求方面取得了令人瞩目的成果,同时保持了微调性能。然而,权重更新的低秩特性本质上限制了微调模型的表示能力,从而可能损害其在复杂任务上的表现。这引出了一个关键问题:当观察到 LoRA 与标准微调之间存在性能差距时,这是由于可训练参数数量减少所致,还是由于秩不足所致? 本文旨在通过引入 RandLora 来回答这一问题。RandLora 是一种参数高效的方法,它利用学习到的低秩、不可训练随机矩阵的线性组合来执行全秩更新。我们的方法通过将优化限制为应用于固定随机矩阵的对角缩放矩阵,从而限制了可训练参数的数量。这使我们能够在训练期间保持参数和内存效率的同时,有效克服低秩限制。通过在视觉、语言和视觉-语言基准上的大量实验,我们系统地评估了 LoRA 和现有随机基方法的局限性。我们的发现表明,全秩更新在单独的视觉和语言任务中均有益处,而在视觉-语言任务中尤为显著,RandLora 显著缩小——有时甚至消除——了标准微调与 LoRA 之间的性能差距,证明了其有效性。
基准测试概览
API
RandLoraConfig
类 peft.RandLoraConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 32target_modules: list[str] | str | None = Noneprojection_prng_key: int = 0save_projection: bool = Truesparse: bool = Falsevery_sparse: bool = Falserandlora_dropout: float = 0.0fan_in_fan_out: bool = Falserandlora_alpha: int = 640bias: str = 'none'modules_to_save: list[str] | None = Noneinit_weights: bool = Truelayers_to_transform: list[int] | int | None = Nonelayers_pattern: str | None = None )
参数
- r (
int,可选,默认为32) — RandLora 的随机基秩维度。与 Lora 不同,该参数与可训练参数的数量成反比,因为减小该值会增加可训练参数的数量。 - target_modules (
Union[list[str], str]) — 要应用 RandLora 的模块名称。仅支持线性层。 - projection_prng_key (
int) — RandLora PRNG 初始化密钥。用于为新模型初始化 basis_A 和 basis_B,或在加载未包含这些投影的 checkpoint 时使用。默认值为0。 - save_projection (
bool) — 是否将全局 basis_A / basis_B 随机基与每层的 lambda / gamma 对角矩阵一起保存在状态字典中。这会增加检查点的大小,但可保证在所有系统配置上重新加载该检查点。默认为True。 - sparse (
bool) — 是否使用 RandLora 论文中描述的稀疏随机基。这些基是三元稀疏基(仅包含 -1、0 和 1),其中 -1 和 1 的归因概率为 1/6,0 的归因概率为 2/3。这些稀疏矩阵旨在未来用于免矩阵乘法(matmul free)计算,参见 https://huggingface.co/papers/2406.02528v1。当前的实现是一个概念验证,其中稀疏性并未被用于提升速度或降低内存占用。使用稀疏矩阵通常不会降低性能,甚至有助于减少过拟合。默认为False。 - very_sparse (
bool) — 是否使用 RandLora 论文中描述的高度稀疏随机基。对于最小维度为 d 的矩阵,这些极稀疏基是三元稀疏基(仅包含 -1、0 和 1),其中 -1 和 1 的归因概率为 1/√D,0 的归因概率为 1- 2/√D。使用这些稀疏矩阵可以进一步降低相对于sparse替代方案的过拟合,但结果很可能是性能会下降。请谨慎使用。默认为False。 - randlora_dropout (
float) — RandLora 层的 dropout 概率。 - randlora_alpha (
float) — RandLora 层的缩放系数,通常应为秩的 20 倍。由于randlora_alpha系数默认值较大,当学习率较高时可能会导致数值不稳定。如果训练不稳定,请考虑降低学习率或randlora_alpha系数。 - fan_in_fan_out (
bool) — 如果待替换的层以 (fan_in, fan_out) 的形式存储权重,请将此项设置为 True。例如,gpt-2 使用的Conv1D以 (fan_in, fan_out) 的形式存储权重,因此应将其设置为True。 - bias (
str) — 偏置类型。可以是 ‘none’、‘all’ 或 ‘randlora_only’。如果设置为 ‘all’ 或 ‘randlora_only’,相应的偏置将在训练期间被更新。请注意,这意味着即使禁用了适配器,模型也不会产生与未进行适配的基础模型相同的输出。 - modules_to_save (
list[str]) — 除 RandLora 层外,需要设置为可训练并在最终检查点中保存的模块列表。 - init_weights (
bool) — 是否使用默认初始化方式初始化 RandLora 层的权重。除非您完全清楚自己在做什么,否则请勿更改此设置。 - layers_to_transform (
Union[list[int],int]) — 要转换的层索引。如果指定了此参数,则会在该列表中指定的层索引上应用 RandLora 转换。如果传入单个整数,则会在该索引对应的层上应用 RandLora 转换。 - layers_pattern (
str) — 层模式名称,仅当layers_to_transform不同于None且层模式不在通用层模式中时使用。
这是用于存储 RandLoraModel 配置的类。
RandLoraModel
类 peft.RandLoraModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
参数
- model (PreTrainedModel) — 要适配的模型。
- config (RandLoraConfig) — RandLora 模型的配置。
- adapter_name (
str) — 适配器的名称,默认为"default"。 - low_cpu_mem_usage (
bool,optional, defaults toFalse) — 在 meta 设备上创建空的适配器权重。有助于加快加载过程。
返回值
torch.nn.Module
RandLora 模型。
从预训练的 transformers 模型创建一个 RandLoRA 模型。
示例:
>>> from transformers import AutoModelForCausalLM
>>> from peft import RandLoraConfig, get_peft_model
>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = RandLoraConfig(r=32)
>>> model = get_peft_model(base_model, config)属性:
- model (PreTrainedModel) — 要适配的模型。
- peft_config (RandLoraConfig): RandLora 模型的配置。