PEFT documentation

GraLoRA

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

GraLoRA

细粒度低秩适应(GraLoRA) 是一种 PEFT 方法,旨在增强低秩适应的表达能力,同时提升对异常值激活的鲁棒性,其设计灵感源自量化领域中广为人知的问题。

GraLoRA Overview

与在整个特征空间上应用单个低秩适配器的标准 LoRA 不同,GraLoRA 引入了一种结构化且细粒度的适配方案。它将适配空间划分为一个由 𝑘2𝑘^2 个更小的独立适配器对组成的网格,每个适配器对负责输入和输出维度中的一个局部子集。因此,每个适配器在一个两个维度都比原始 LoRA 适配器小 kk 倍的子空间上运行。

这种细粒度的分解能够实现空间局部化且感知上下文的更新,在不增加额外参数或计算成本的情况下,有效提升了表征能力。通过在小得多的子空间中隔离极端激活值的影响,GraLoRA 减轻了梯度失真,并在适应过程中保持了通道间的平衡。


该论文的摘要如下:

低秩适应(LoRA)是生成模型参数高效微调(PEFT)的一种流行方法,因其简洁性和有效性而备受推崇。尽管近期有所改进,LoRA 仍存在一个根本性局限:当瓶颈加宽时容易过拟合。它在秩为 32–64 时表现最佳,但在更高秩时准确率停滞甚至下降,仍不及全量微调(FFT)的性能。我们将根本原因归结为 LoRA 的结构瓶颈,该瓶颈向无关的输入通道引入了梯度纠缠,并扭曲了梯度传播。为解决这一问题,我们提出了一种新颖的结构——细粒度低秩适应(GraLoRA),它将权重矩阵划分为子块,每个子块拥有自己的低秩适配器。在几乎不增加计算或存储成本的情况下,GraLoRA 克服了 LoRA 的局限,有效提升了表示能力,并更紧密地逼近 FFT 的行为。在代码生成、常识推理、数学推理、通用语言理解以及图像生成基准上的实验表明,GraLoRA 始终优于 LoRA 和其他基线方法,在 HumanEval+ 上的 Pass@1 指标上实现了高达 +8.5% 的绝对提升。这些改进在不同模型规模和秩设置下均成立,使 GraLoRA 成为 PEFT 的一种可扩展且鲁棒的解决方案。

基准测试概览

API

GraloraConfig

类 peft.GraloraConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 32hybrid_r: int = 0target_modules: list[str] | str | None = Nonealpha: int = 64gralora_dropout: float = 0.0gralora_k: int = 2fan_in_fan_out: bool = Falsebias: str = 'none'modules_to_save: list[str] | None = Noneinit_weights: bool = Truelayers_to_transform: list[int] | int | None = Nonelayers_pattern: str | None = None )

参数

  • r (int) — GraLoRA 注意力维度,用于确定 GraLoRA 适配器的秩。GraLoRA 适配器的总参数量与具有相同秩 r 的 LoRA 相同,但其表达能力会乘以 gralora_k。
  • hybrid_r (int) — Hybrid GraLoRA 秩,决定了在使用 Hybrid GraLoRA 方法时分配给 vanilla LoRA 方法的秩。 Hybrid GraLoRA 是 GraLoRA 和 vanilla LoRA 的组合,当 hybrid_r > 0 时可用。GraLoRA 适配器的参数量为 r + hybrid_r。
  • target_modules (Union[List[str], str]) — 要替换为 GraLoRA 的模块名称列表或模块名称的正则表达式。例如,[‘q’, ‘v’] 或 ‘.decoder.(SelfAttention|EncDecAttention).*(q|v)$‘。这也可以是通配符 ‘all-linear’, 它匹配所有 linear/Conv1D(如果模型是 PreTrainedModel,则不包括输出层)。如果未指定,将根据模型架构选择模块。如果架构未知,则会引发错误——在这种情况下,应手动指定目标模块。
  • alpha (int) — GraLoRA alpha。 GraLoRA alpha 是 GraLoRA 适配器的缩放因子。缩放值变为 alpha / (r + hybrid_r)。
  • gralora_dropout (float) — GraLoRA dropout 是 GraLoRA 适配器的 dropout 概率。它用于防止过拟合并提高 GraLoRA 适配器的泛化能力。
  • gralora_k (int) — GraLoRA k 决定了 GraLoRA 适配器中子块的数量。为了使 GraLoRA 适配器有效,秩 r 必须能被 gralora_k 整除。无论 gralora_k 取何值,总参数量均保持不变。GraLoRA 适配器的整体秩会增加 gralora_k,而每个 子块的秩会减少 gralora_k。对于秩为 32 或更低的情况,建议使用 gralora_k=2;对于秩为 64 或更高的情况,建议使用 gralora_k=4。
  • fan_in_fan_out (bool) — 如果待替换的层以 (fan_in, fan_out) 的形式存储权重,请将此项设置为 True。例如,gpt-2 使用的 Conv1D 以 (fan_in, fan_out) 的形式存储权重,因此应将其设置为 True。
  • bias (str) — gralora 的偏置类型。可以是 ‘none’、‘all’ 或 ‘gralora_only’。如果设置为 ‘all’ 或 ‘gralora_only’,训练期间将更新相应的偏置。请注意,这意味着即使禁用了适配器,模型的输出也不会与未进行适配的基础模型相同。
  • modules_to_save (Optional[list[str]]) — 除 gralora 层外,需要设置为可训练并在最终检查点中保存的模块列表。例如,在序列分类或标记分类任务中,最终层 classifier/score 是随机初始化的,因此需要可训练并保存。
  • init_weights (bool) — 是否使用默认初始化方式初始化 GraLoRA 层的权重。除非您完全清楚自己在做什么,否则请勿更改此设置。
  • layers_to_transform (Union[List[int], int]) — 要转换的层索引。如果指定了此参数,PEFT 将仅转换此列表中指定的层索引。如果传入单个整数,PEFT 将仅转换该索引处的层。此功能仅在 target_modules 为 str 列表时有效。
  • layers_pattern (Optional[Union[List[str], str]]) — 层模式名称,仅在 layers_to_transform 不为 None 且层模式不在通用层模式列表中时使用。此参数仅在 target_modules 为 str 列表时有效。它应指向模型的 nn.ModuleList,该列表通常命名为 'layers' 或 'h'。

这是用于存储 GraloraModel 配置的类。

GraloraModel

类 peft.GraloraModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

参数

  • model (PreTrainedModel) — 要适配的模型。
  • config (GraloraConfig) — Gralora 模型的配置。
  • adapter_name (str) — 适配器的名称,默认为 "default"。

返回值

torch.nn.Module

Gralora 模型。

从预训练的 transformers 模型创建基于向量的随机矩阵自适应(Gralora)模型。

示例:

>>> from transformers import AutoModelForCausalLM
>>> from peft import GraloraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = GraloraConfig(r=128)
>>> model = get_peft_model(base_model, config)

属性:

Update on GitHub