PEFT documentation
LoHa
LoHa

低ランク・ハダマード積(LoHa)は、LoRAと同様ですが、大きな重み行列をより多くの低ランク行列で近似し、それらをハダマード積で結合します。この手法はLoRAよりもさらにパラメータ効率が高く、同等の性能を実現します。LoHaは元々分散学習(FedPara)のために提案されましたが、汎用的なPEFT手法としても機能し、Stable Diffusionなどの画像生成モデルのファインチューニングにおいて特に人気があります。
注: LoHaはLyCORISアダプターファミリーの一部です。その近親であるLoKrは、Hadamard積ではなくKronecker積を使用します。
論文の抄録は以下の通りです:
本研究では、頻繁なモデルのアップロードおよびダウンロードに伴う負担を克服するために、連合学習(FL)向けの通信効率に優れたパラメータ化手法 FedPara を提案する。本手法は、低ランクの重みを用いた層の重みパラメータの再パラメータ化を行い、その後 Hadamard 積を適用する。従来の低ランクパラメータ化と比較して、FedPara は低ランク制約に制限されないため、はるかに大きな容量を持つ。この特性により、元の層を持つモデルと比較して 3 倍から 10 倍低い通信コストで同等の性能を達成できるが、これは従来の低ランク手法では実現できない。本手法の効率性は、他の効率的な FL オプティマイザと組み合わせることでさらに向上させることができる。さらに、本手法をパーソナライズド FL 応用に拡張し、パラメータをグローバルとローカルに分離する pFedPara を提案する。pFedPara は、競合するパーソナライズド FL 手法よりも 3 倍以上少ないパラメータ数で優れた性能を発揮することを示す。
低ランク分解は、重みの更新が低ランク空間に限定されるため、モデルの表現能力を制約し、パフォーマンスに影響を与える可能性があります。ただし、ランクを大きくすると学習可能なパラメータ数が増加するため、必ずしも大きなランクを使用すべきではありません。この問題を解決するために、多様な画像を生成する能力が重要な考慮事項となる拡散モデルに LoHa が適用されました。LoHa は一般的なモデルタイプでも動作するはずですが、埋め込み層へのサポートは現在 PEFT に実装されていません。
LoHa は Hadamard 積 ((要素ごとの積)を行列積の代わりに使用します。 は LoRA と同様に 2 つではなく 4 つの小さな行列で表され、これらの低ランク行列の各ペアは Hadamard 積で結合されます。その結果、 は学習可能なパラメータ数が同じでも、より高いランクと表現力を持つことができます。
LoHaを使用するタイミング
LoHaが適切な選択肢となるのは、次のような場合です:
- 最も広く利用されている、画像生成モデル(Stable Diffusion UNetまたはテキストエンコーダー)のファインチューニングを行う場合です。
- 同じ数の学習可能パラメータに対して、LoRAよりもより高い有効ランクが得られることを望みます。2つの低ランク行列のHadamard積は、単一の低ランク積よりも大きな部分空間を張るためです。
- 推論時に
PeftMixedModelを使用して、例えばLoHaとLoKrのように異なるPEFT手法を組み合わせたい場合。
LoHaは線形層とConv2d層をサポートしています。埋め込み層の適応も必要となるタスクには、代わりにLoRAをご検討ください。
使用方法
from diffusers import StableDiffusionPipeline
from peft import LoHaConfig, get_peft_model
config_unet = LoHaConfig(
r=8,
alpha=8,
target_modules=[
"to_k",
"to_q",
"to_v",
"to_out.0",
"proj_in",
"proj_out",
],
rank_dropout=0.0,
module_dropout=0.0,
use_effective_conv2d=True,
)
pipeline = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
pipeline.unet = get_peft_model(pipeline.unet, config_unet)
pipeline.unet.print_healthcheck()ベンチマーク概要
API
LoHaConfig
クラス peft.LoHaConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory>r: int = 8alpha: int = 8rank_dropout: float = 0.0module_dropout: float = 0.0use_effective_conv2d: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Noneinit_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = None )
パラメータ
- r (
int) — LoHa のランク。 - alpha (
int) — LoHa スケーリング用の alpha パラメータ。 - rank_dropout (
float) — 学習中のランク次元におけるドロップアウト確率。 - module_dropout (
float) — 学習中にLoHaモジュールを無効にするためのドロップアウト確率。 - use_effective_conv2d (
bool) — ksize > 1 の Conv2d (および Conv1d) に対して、パラメータの effective decomposition を使用します (FedPara 論文の “Proposition 3”)。 - target_modules (
Optional[Union[List[str], str]]) — アダプタを適用するモジュールの名前です。このパラメータが指定されている場合、指定された名前のモジュールのみが置き換えられます。文字列を渡す場合、正規表現によるマッチングが行われます。文字列のリストを渡す場合、完全一致が行われるか、モジュール名が渡された文字列のいずれかで終わるかがチェックされます。このパラメータが ‘all-linear’ として指定されている場合、出力層を除くすべての linear/Conv1D モジュールが選択されます。このパラメータが指定されていない場合、モデルのアーキテクチャに基づいてモジュールが選択されます。アーキテクチャが不明な場合はエラーが発生します。この場合、ターゲットモジュールを手動で指定する必要があります。 - exclude_modules (
Optional[Union[List[str], str]]) — アダプタを適用しないモジュールの名前。文字列を渡す場合、正規表現によるマッチングが行われます。文字列のリストを渡す場合、完全一致が行われるか、モジュール名が渡された文字列のいずれかで終わるかがチェックされます。 - init_weights (
bool) — アダプター重みの初期化を実行するかどうか。デフォルトはTrueです。Falseを渡すことは推奨されません。 - layers_to_transform (
Union[List[int], int]) — 変換対象のレイヤーのインデックスです。int のリストが渡された場合、このリストに指定されたレイヤーのインデックスにアダプターが適用されます。単一の整数が渡された場合、そのインデックスのレイヤーに変換が適用されます。 - layers_pattern (
Optional[Union[List[str], str]]) —layers_to_transformがNoneと異なる場合にのみ使用されるレイヤーパターン名です。これはモデルのnn.ModuleListを対象とすべきで、通常は'layers'または'h'と呼ばれます。 - rank_pattern (
dict) —rで指定されるデフォルトのランクとは異なるランクを持つ、レイヤー名または正規表現からランクへのマッピングです。例えば、{'^model.decoder.layers.0.encoder_attn.k_proj': 16}。 - alpha_pattern (
dict) —alphaで指定されるデフォルトの alpha と異なる alpha を、レイヤー名または正規表現にマッピングする辞書です。例えば、{'^model.decoder.layers.0.encoder_attn.k_proj': 16}のように指定します。 - modules_to_save (
Optional[List[str]]) — アダプタ層を除き、最終的なチェックポイントで学習可能かつ保存されるように設定するモジュールのリスト。
これは、LoHaModelの設定を保存するための設定クラスです。
LoHaModel
クラス peft.LoHaModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
パラメータ
- model (
torch.nn.Module) — アダプタチューナー層が接続されるモデル。 - config (LoHaConfig) — LoHaモデルの設定。
- adapter_name (
str) — アダプターの名前。デフォルトは"default"です。 - low_cpu_mem_usage (
bool、optional、デフォルトはFalse) — メタデバイス上に空のアダプター重みを生成します。読み込みプロセスを高速化するために有用です。
戻り値
torch.nn.Module
LoHaモデル。
事前学習済みモデルからLow-Rank Hadamard Productモデルを作成します。この手法はhttps://huggingface.co/papers/2108.06098に部分的に説明されています。現在の実装はhttps://github.com/KohakuBlueleaf/LyCORIS/blob/eb460098187f752a5d66406d3affade6f0a07ece/lycoris/modules/loha.pyから大きく参考にしています。
例:
>>> from diffusers import StableDiffusionPipeline
>>> from peft import LoHaConfig, get_peft_model
>>> config_te = LoHaConfig(
... r=8,
... alpha=32,
... target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
... rank_dropout=0.0,
... module_dropout=0.0,
... init_weights=True,
... )
>>> config_unet = LoHaConfig(
... r=8,
... alpha=32,
... target_modules=[
... "proj_in",
... "proj_out",
... "to_k",
... "to_q",
... "to_v",
... "to_out.0",
... "ff.net.0.proj",
... "ff.net.2",
... ],
... rank_dropout=0.0,
... module_dropout=0.0,
... init_weights=True,
... use_effective_conv2d=True,
... )
>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)属性:
- model (
~torch.nn.Module) — 適応させる対象のモデル。 - peft_config (LoHaConfig): LoHaモデルの設定です。