パラメータ

• n_frequency (int) — 離散ウェーブレット変換 (DWT) における学習可能なウェーブレット係数の数です。‘n_frequency’ は 0 より大きく、元の重み行列の要素総数 (d_out * d_in) 以下である整数です。このパラメータは、各適応レイヤーの学習可能パラメータ数を直接制御します。‘n_frequency’ が大きいほど一般的にパフォーマンスは向上しますが、GPU メモリ使用量も増加し、トレーニング速度にはわずかな影響を与えます。
• scaling (float) — 再構成されたデルタ W 行列に適用されるスケーリング係数です。これは LoRA の lora_alpha に相当する重要なハイパーパラメータであり、ハイパーパラメータ探索時に調整できます。SDXL のパーソナライズにおけるデフォルト値は 25 です。
• wavelet_family (str) — DWTおよびInverse DWT (IDWT)に使用するウェーブレットファミリー（例: ‘db1’, ‘sym2’, ‘coif1’）です。デフォルトは ‘db1’ (Haar wavelet) です。異なるウェーブレットファミリーはフィルタ長が異なり、学習時間に大きく影響します。
• use_idwt (bool) — 効率的な適応のために False に設定します。学習されたウェーブレット係数からデルタ重みを再構成するために、逆離散ウェーブレット変換 (IDWT) を使用するかどうかを指定します。True (デフォルト) の場合、IDWT が適用されます。False の場合、学習された係数が直接使用されてスパースなデルタ重み行列が形成されます。これは高速ですが、SDXL のパーソナライズタスクでは性能が低下します。
• random_loc_seed (int) — n_frequency個の学習可能なウェーブレット係数が、完全なウェーブレット係数行列内のどの位置に配置されるかを決定するためのシード。
• target_modules (Union[list[str],str]) — WaveFTで適応させるモジュールを特定するモジュール名のリスト、または正規表現です。例えば、 ['q_proj', 'v_proj'] または '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'。現在、サポートされているのは線形レイヤー（torch.nn.Linear）のみです。
• exclude_modules (Optional[Union[List[str], str]]) — WaveFT の適応から除外するモジュールの名前のリスト、または正規表現です。
• fan_in_fan_out (bool) — 置き換え対象のレイヤーの重みが(fan_in, fan_out)形式で保存されている場合はTrueに設定します。デフォルトはFalseです。
• bias (str) — WaveFT のバイアス型です。‘none’、‘all’、または ‘waveft_only’ を指定できます。（‘fourier_only’ はおそらく誤記であり、適応されたパラメータにのみバイアスを適用することを意味する場合、‘waveft_only’ に修正されています）‘waveft_only’ の場合、バイアスは WaveFT コンポーネントにのみ追加されます。‘all’ の場合、ベースコンポーネントと WaveFT コンポーネントの両方にバイアスが追加されます。‘none’ の場合、新しいバイアスは追加されません。
• modules_to_save (list[str]) — WaveFT のレイヤーに加えて、学習可能としてマークし、最終的なチェックポイントに保存すべきモジュールのリストです。シーケンス分類やトークン分類タスクにおける分類器のような、ランダムに初期化され学習が必要なレイヤーに有用です。
• layers_to_transform (Union[list[int],int]) — 変換対象の特定のレイヤーのインデックスです。指定された場合、PEFT はこれらのインデックスのレイヤーのみを適応させます。単一の整数が指定された場合、そのレイヤーのみが変換されます。
• layers_pattern (Optional[Union[List[str], str]]) — layers_to_transform が指定され、レイヤーのパターンが標準的でない場合（例: ‘layers’ や ‘h’ ではない場合）に使用する、レイヤー名のパターンです。これはモデル内の nn.ModuleList 属性を対象とすべきです。
• n_frequency_pattern (dict) — レイヤー名(または正規表現)を特定のn_frequency値にマッピングする辞書です。グローバルなn_frequencyを上書きします。例: {"model.decoder.layers.0.encoder_attn.k_proj": 1000}。
• init_weights (bool) — 学習可能なウェーブレット係数（スペクトル）の初期化戦略です。True（デフォルト）の場合、係数はゼロで初期化されます。Falseの場合、係数は小さな係数でスケーリングされた標準正規分布から初期化されます。
• proportional_parameters (bool) — Trueの場合、n_frequencyは各レイヤーのinput_dim * output_dimに比例して割り当てられます。デフォルトはFalseです。注: このオプションは、実用的な利点ではなく、研究者が論文の結果を再現できるようにするための実験的な網羅性として含まれています。有益なシナリオは特定されていません。