PEFT documentation

OFT

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

OFT

Controlling Text-to-Image Diffusion by Orthogonal Finetuning

Orthogonal Finetuning (OFT)およびOFTv2は、テキストから画像を生成する拡散モデルを適応させるために開発された手法です。事前学習済み重み行列を直交行列で再パラメータ化することで、事前学習済みモデルの情報を保持します。パラメータ数を削減するために、OFTは直交行列にブロック対角構造を導入します。この手法は、ファインチューニング後のモデルにおいて事前学習済みモデルの生成性能を保持することに主に焦点を当てています。ニューロン間のセマンティック情報をよりよく捉えることができるため、レイヤー内のすべてのペアワイズニューロン間のコサイン類似度(hyperspherical energy)を同じに保とうとします。つまり、OFTは対象を保持する能力がより高く、制御可能な生成(ControlNetと同様)に適しています。

論文の抄録は以下の通りです:

大規模なテキストから画像への拡散モデルは、テキストプロンプトからフォトリアリスティックな画像を生成する能力において印象的な性能を発揮します。これらの強力なモデルを効果的に誘導または制御し、異なる下流タスクを実行させる方法は、重要な未解決の問題となっています。この課題に対処するために、テキストから画像への拡散モデルを下流タスクに適応させるための原則に基づいたファインチューニング手法、すなわち直交ファインチューニング(OFT)を導入します。既存の手法とは異なり、OFTは、単位超球面上のニューロン間のペアワイズ関係を特徴づける超球面エネルギーを証明可能に保持できます。この性質が、テキストから画像への拡散モデルの意味的生成能力を保持するために不可欠であることが判明しました。ファインチューニングの安定性を向上させるため、さらに、超球面に追加の半径制約を課す制約付き直交ファインチューニング(COFT)を提案します。具体的には、2つの重要なテキストから画像へのファインチューニングタスクを検討します。1つは、対象駆動型生成であり、対象の少数の画像とテキストプロンプトが与えられた場合に、対象固有の画像を生成することを目的とします。もう1つは、制御可能生成であり、モデルが追加の制御信号を受け入れられるようにすることを目的とします。実験的に、私たちのOFTフレームワークは、生成品質と収束速度において既存の手法を上回ることが示されました

OFTは、ニューロン間のコサイン類似度を不変に保つ直交変換を学習することで、超球面エネルギーを保存します。これにより、以前に学習した知識の忘却が少なくなる可能性があります。具体的には、直交行列と事前学習済み重み行列の行列積を計算します。ただし、パラメータ効率を高めるため、直交行列はランクrのブロックからなるブロック対角行列として表現されます。LoRAが低ランク構造によって学習可能なパラメータ数を削減するのに対し、OFTはスパースなブロック対角行列構造によって学習可能なパラメータ数を削減します。

ベンチマーク概要

base modelにOFTの重みをマージする

LoRAと同様に、OFTで学習された重みは、~OFTModel.merge_and_unload()関数を使用して事前学習済み重み行列に統合できます。この関数はアダプタの重みをベースモデルとマージするため、新しくマージされたモデルを単独のモデルとして効果的に使用できます。

OFTの使用例

SFT、PPO、またはDPOのファインチューニングで、TRLを用いた量子化ファインチューニングにOFTを使用するには、以下の手順に従ってください。

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from trl import SFTTrainer
from peft import OFTConfig

if use_quantization:
    bnb_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype=torch.bfloat16,
        bnb_4bit_use_double_quant=True,
        bnb_4bit_quant_storage=torch.bfloat16,
    )

model = AutoModelForCausalLM.from_pretrained(
    "model_name",
    quantization_config=bnb_config
)
tokenizer = AutoTokenizer.from_pretrained("model_name")

# Configure OFT
peft_config = OFTConfig(
    oft_block_size=32,
    use_cayley_neumann=True,
    target_modules="all-linear",
    bias="none",
    task_type="CAUSAL_LM"
)

trainer = SFTTrainer(
    model=model,
    train_dataset=ds['train'],
    peft_config=peft_config,
    processing_class=tokenizer,
    args=training_arguments,
    data_collator=collator,
)

trainer.train()

API

OFTConfig

クラス peft.OFTConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 0oft_block_size: int = 32module_dropout: float = 0.0target_modules: Optional[Union[list[str], str]] = Nonefan_in_fan_out: bool = Falsebias: Literal['none', 'all', 'oft_only'] = 'none'exclude_modules: Optional[Union[list[str], str]] = Noneinit_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Nonecoft: bool = Falseeps: float = 6e-05block_share: bool = Falseuse_cayley_neumann: bool = Truenum_cayley_neumann_terms: int = 5 )

パラメータ

  • r (int) — OFT のランク、および注入される各レイヤーあたりの OFT ブロックの数。r が大きいほど、学習可能なパラメータが少ないスパースな更新行列になります。r と oft_block_size の両方を同時に指定することはできません。これは、r × oft_block_size = レイヤーの次元 となるためです。簡便さのため、r または oft_block_size のいずれかを指定し、もう片方を推論できるようにしています。デフォルトでは r = 0 に設定されていますが、明確さのため、oft_block_size を設定することを推奨します。
  • oft_block_size (int) — 異なるレイヤーにわたる OFT のブロックサイズ。oft_block_size が大きいほど、学習可能なパラメータが多いより密な更新行列になります。oft_block_size は、レイヤーの入力次元 (in_features) で割り切れる値、例えば 4、8、16 などを指定してください。r × oft_block_size = レイヤーの次元 となるため、r と oft_block_size の両方を同時に指定することはできません。簡便さのため、r または oft_block_size のいずれかを指定し、もう片方を推定するようにしています。デフォルトでは oft_block_size = 32 に設定されています。
  • use_cayley_neumann (bool) — Cayley-Neumannパラメータ化(効率的だが近似)を使用するか、通常のCayleyパラメータ化(厳密だが行列の逆行列計算により計算コストが高い)を使用するかを指定します。効率性を高めるためにTrueに設定することを推奨しますが、近似誤差によりパフォーマンスがわずかに低下する可能性があります。ニーズに応じて、両方の設定(TrueとFalse)をテストしてください。デフォルトはFalseです。
  • module_dropout (float) — LoRAのdropout層と同様に、学習中にOFTブロックを恒等変換に設定することで、乗算dropoutの確率を指定します。
  • target_modules (Optional[Union[list[str], str]]) — アダプタを適用するモジュールの名前です。このパラメータが指定されている場合、指定された名前のモジュールのみが置き換えられます。文字列を渡す場合、正規表現によるマッチングが行われます。文字列のリストを渡す場合、完全一致が行われるか、モジュール名が渡された文字列のいずれかで終わるかがチェックされます。このパラメータが ‘all-linear’ として指定されている場合、出力層を除くすべての線形モジュールが選択されます。このパラメータが指定されていない場合、モデルのアーキテクチャに基づいてモジュールが選択されます。アーキテクチャが不明な場合はエラーが発生します。この場合、ターゲットモジュールを手動で指定する必要があります。
  • fan_in_fan_out (bool) — 置き換えるレイヤーが重みを (fan_in, fan_out) の形で保存している場合は、これを True に設定します。
  • bias (str) — OFT のバイアスタイプ。‘none’、‘all’、‘oft_only’ のいずれかを指定できます。‘all’ または ‘oft_only’ を指定した場合、対応するバイアスが学習中に更新されます。この設定により、アダプターを無効にしても、適応なしのベースモデルが生成する出力と同一の結果は得られない点にご注意ください。
  • exclude_modules (Optional[Union[List[str], str]]) — アダプタを適用しないモジュールの名前。文字列を渡す場合、正規表現によるマッチングが行われます。文字列のリストを渡す場合、完全一致が行われるか、モジュール名が渡された文字列のいずれかで終わるかがチェックされます。
  • init_weights (bool) — OFTの重みの初期化を実行するかどうか。
  • layers_to_transform (Union[List[int], int]) — 変換対象のレイヤーのインデックスです。int のリストが渡された場合、このリストに指定されたレイヤーのインデックスにアダプターが適用されます。単一の整数が渡された場合、そのインデックスのレイヤーに変換が適用されます。
  • layers_pattern (Optional[Union[List[str], str]]) — layers_to_transform が None と異なる場合にのみ使用されるレイヤーパターン名です。これはモデルの nn.ModuleList を対象とすべきで、通常は 'layers' または 'h' と呼ばれます。
  • modules_to_save (List[str]) — 最終チェックポイントに保存されるよう、学習可能に設定するアダプタ層以外のモジュールのリスト。
  • coft (bool) — OFTの制約付きバリアントを使用するかどうか。デフォルトではオフです。
  • eps (float) — COFTの制御強度です。回転の自由度を示します。coftがTrueに設定されている場合のみ、効果が現れます。
  • block_share (bool) — ブロック間でOFTパラメータを共有するかどうか。デフォルトではFalseです。

これはOFTModelの設定を保存するための設定クラスです。

check_kwargs

< >

( **kwargs )

パラメータ

  • kwargs (追加のキーワード引数、任意) — 子クラスの初期化に渡される追加のキーワード引数。

設定に対して kwargs が有効かどうかを確認します。

OFTModel

クラス peft.OFTModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

パラメータ

  • model (torch.nn.Module) — アダプタチューナー層が接続されるモデル。
  • config (OFTConfig) — OFTモデルの設定。
  • adapter_name (str) — アダプターの名前。デフォルトは"default"です。
  • low_cpu_mem_usage (bool、optional、デフォルトはFalse) — メタデバイス上に空のアダプター重みを生成します。読み込みプロセスを高速化するために有用です。

戻り値

torch.nn.Module

OFTモデル。

事前学習済みモデルからOrthogonal Finetuningモデルを作成します。この手法はhttps://huggingface.co/papers/2306.07280に説明されています。

例:

>>> from diffusers import StableDiffusionPipeline
>>> from peft import OFTConfig, get_peft_model

>>> config_te = OFTConfig(
...     oft_block_size=32,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     module_dropout=0.0,
...     init_weights=True,
... )
>>> config_unet = OFTConfig(
...     oft_block_size=32,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     module_dropout=0.0,
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)

属性:

  • model (~torch.nn.Module) — 適応させる対象のモデル。
  • peft_config (OFTConfig): OFTモデルの設定です。
Update on GitHub