PEFT documentation
量子化
量子化
Quantization(量子化)は、データをより少ないビット数で表現する技術であり、特に大規模言語モデル(LLM)において、メモリ使用量の削減や推論の高速化に有用です。モデルを量子化する方法には、以下のようなものがあります。
- AWQアルゴリズムで量子化されるモデルの重みを最適化すること
- GPTQアルゴリズムを使用して、重み行列の各行を独立に量子化すること
- bitsandbytesライブラリを使用して8ビットおよび4ビットの精度に量子化
- AQLMアルゴリズムを使用して、2ビット精度まで量子化
ただし、モデルが量子化された後、重みと活性化の精度が低くなるためトレーニングが不安定になり得るため、通常は下流タスクのためにさらにトレーニングは行われません。しかし、PEFT手法は追加の学習可能なパラメータのみを追加するため、量子化されたモデルの上にPEFTアダプターを載せてトレーニングすることが可能になります。量子化とPEFTを組み合わせることは、単一のGPUで最大級のモデルをトレーニングするための優れた戦略となり得ます。例えば、QLoRAはモデルを4ビットに量子化してからLoRAでトレーニングする手法です。この手法により、単一の48GB GPUで65Bパラメータのモデルをファインチューニングできます!
このガイドでは、モデルを4ビットに量子化し、LoRAでトレーニングする方法を説明します。
モデルの量子化
bitsandbytesは、Transformersとの統合機能を持つ量子化ライブラリです。この統合により、モデルを8ビットまたは4ビットに量子化し、BitsAndBytesConfigクラスを設定することで、他の多くのオプションを有効にできます。例えば、以下のようなことができます:
load_in_4bit=Trueを設定すると、モデルの読み込み時に4ビット量子化が行われます。bnb_4bit_quant_type="nf4"を設定すると、正規分布から初期化された重みに特別な4ビットデータ型を使用しますbnb_4bit_use_double_quant=Trueを設定すると、すでに量子化された重みを量子化するためのネスト型量子化スキームを使用できます。- より高速な計算のために bfloat16 を使用するには、
bnb_4bit_compute_dtype=torch.bfloat16を設定してください。
import torch
from transformers import BitsAndBytesConfig
config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
bnb_4bit_compute_dtype=torch.bfloat16,
)configをfrom_pretrainedメソッドに渡します。
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1", quantization_config=config)次に、量子化モデルを学習用に前処理するために、prepare_model_for_kbit_training() 関数を呼び出す必要があります。
from peft import prepare_model_for_kbit_training
model = prepare_model_for_kbit_training(model)量子化モデルの準備ができたので、設定を構築しましょう。
LoraConfig
以下のパラメータ(または独自に選択したパラメータ)でLoraConfigを作成します:
from peft import LoraConfig
config = LoraConfig(
r=16,
lora_alpha=8,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)次に、get_peft_model() 関数を使用して、量子化されたモデルと設定から PeftModel を作成します。
from peft import get_peft_model
model = get_peft_model(model, config)お好みのトレーニング方法でトレーニングを開始する準備が整いました!
LoftQ初期化
LoftQは、量子化誤差を最小化するようにLoRAの重みを初期化し、量子化モデルの学習時にパフォーマンスを向上させることができます。始めるには、この手順に従ってください。
LoftQは、target_parametersで指定されたものを含む線形層にのみ適用されます。埋め込み層と畳み込み層はサポートされておらず、代わりにデフォルトのLoRA初期化が使用されます。nn.MultiheadAttention層はサポートされておらず、エラーが発生します。
一般的に、LoftQを最も効果的に機能させるためには、LoRAの対象レイヤーをできるだけ多く設定することをお勧めします。対象外とされたレイヤーにはLoftQを適用できないためです。つまり、LoraConfig(..., target_modules="all-linear")を渡すのが、最も良い結果を得る可能性が高い方法です。また、4bit量子化を使用する場合は、量子化設定でnf4を量子化タイプとして使用してください。具体的には、BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4")のように設定します。
一般的に、LoftQを最も効果的に機能させるためには、LoRAの対象レイヤーをできるだけ多く設定することをお勧めします。対象外とされたレイヤーにはLoftQを適用できないためです。つまり、LoraConfig(..., target_modules="all-linear")を渡すのが、最も良い結果を得る可能性が高い方法です。また、4bit量子化を使用する場合は、量子化設定でnf4を量子化タイプとして使用してください。具体的には、BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4")のように設定します。
現在、LoftQを適用するための意図された方法は2つあります。
- 非量子化ベースモデルを読み込み、意図した量子化レベル(nf4 の場合は
bits=4など)で LoftQ を適用し、結果として得られるアダプターを保存します。その後、例えばBitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4")を使用してベースモデルを量子化し、その上に LoftQ で初期化されたアダプターを読み込みます。 - 量子化されたベースモデルを読み込み、LoRA(loftqなし)でPEFTモデルを初期化し、
replace_lora_weights_loftqを使用して、非量子化ベースモデルの参照重みを重みファイルからストリーミングしてLoftQ初期化を適用します(次のセクションでさらに説明します)。
replace_lora_weights_loftq を使用して LoftQ をオンザフライで適用する
LoftQ初期化を適用するより簡単だが機能が限定的な方法として、便利関数replace_lora_weights_loftqを使用できます。この関数は、量子化されたPEFTモデルを入力として受け取り、LoRA重みをそのLoftQ初期化済み対応物にインプレースで置き換えます。
from peft import replace_lora_weights_loftq
from transformers import BitsAndBytesConfig
bnb_config = BitsAndBytesConfig(load_in_4bit=True, ...)
base_model = AutoModelForCausalLM.from_pretrained(..., quantization_config=bnb_config)
# note: don't pass init_lora_weights="loftq" or loftq_config!
lora_config = LoraConfig(task_type="CAUSAL_LM")
peft_model = get_peft_model(base_model, lora_config)
replace_lora_weights_loftq(peft_model)replace_lora_weights_loftq では、callback 引数を渡すことで、どのレイヤーを変更するかをより細かく制御できます。これにより、実用上、結果が大幅に改善されることがあります。より詳細な例については、このノートブックを参照してください。
replace_lora_weights_loftq は、LoftQ の反復ステップを1回のみ実装しています。つまり、LoRA 重みと量子化されたベースモデルの重みを反復的に更新するのではなく、LoRA 重みのみが更新されます。これにより性能が低下する可能性がありますが、修正された量子化重みの追加コピーを保持する必要がなく、ベースモデルから導出された元の量子化重みを使用できるという利点があります。このトレードオフが妥当かどうかは、ユースケースによって異なります。
現在、replace_lora_weights_loftqには以下の追加の制限があります:
- モデルファイルは
safetensorsファイルとして保存する必要があります。 - サポートされているのは、bitsandbytesの4bit量子化のみです。
PiSSA初期化
PiSSAは量子化された重みに適用できません。通常、非量子化のベースモデルに適用し、得られた残差を保存してから量子化して読み込むため、非量子化モデル全体をメモリに収める必要があります。
代替案として、replace_lora_weights_pissa は量子化された PEFT モデルを受け取り、重みファイルから非量子化モデルの重みを1レイヤーずつストリーミングします。各レイヤーの LoRA 重みは PiSSA で初期化され、そのベース重みは再量子化された残差に置き換えられます。
from peft import replace_lora_weights_pissa
from transformers import BitsAndBytesConfig
bnb_config = BitsAndBytesConfig(load_in_4bit=True, ...)
base_model = AutoModelForCausalLM.from_pretrained(..., quantization_config=bnb_config)
# note: don't pass init_lora_weights="pissa" here!
lora_config = LoraConfig(task_type="CAUSAL_LM")
peft_model = get_peft_model(base_model, lora_config)
replace_lora_weights_pissa(peft_model, init_lora_weights="pissa_niter_4")"pissa" と "pissa_niter_[number of iters]" の両方がサポートされています。
ベースの重みが変更されるため、アダプターのみを保存してもモデルを復元することはできません。その他の PiSSA 初期化と同様に、ベースモデルも保存するか、save_pretrained() の path_initial_model_for_weight_conversion 引数を使用して学習済みのアダプターをコンバートしてください。
現在、replace_lora_weights_pissaには以下の追加の制限があります:
- モデルファイルは
safetensorsファイルとして保存する必要があります。 - サポートされているのは、bitsandbytesの4bit量子化のみです。
- DoRAなどのLoRAのバリアントはサポートされていません。
QLoRAスタイルの学習
QLoRAは、transformerアーキテクチャ内のすべての線形層に学習可能な重みを追加します。これらの線形層の属性名はアーキテクチャによって異なる可能性があるため、すべての線形層にLoRAを追加するには、target_modulesを"all-linear"に設定します:
config = LoraConfig(target_modules="all-linear", ...)GPTQ量子化
GPTQベースの[2, 3, 4, 8]ビット量子化については、GPT-QModelおよびTransformersのGPTQドキュメントで詳しく学ぶことができます。PEFTは、GPT-QModelを通じてGPTQのポストトレーニングをサポートしています。
# GPT-QModel install
pip install "gptqmodel>=7.0.0"from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig
model_id = "facebook/opt-125m"
tokenizer = AutoTokenizer.from_pretrained(model_id)
gptq_config = GPTQConfig(bits=4, group_size=128, dataset="wikitext2", tokenizer=tokenizer)
quantized_model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", quantization_config=gptq_config)
# save quantized model
quantized_model.save_pretrained("./opt-125m-gptq")
tokenizer.save_pretrained("./opt-125m-gptq")量子化後、PEFT APIを使用してGPTQモデルのポストトレーニングを行うことができます。
AQLM量子化
言語モデルの加法的量子化(AQLM)は、大規模言語モデルの圧縮手法です。複数の重みをまとめて量子化し、それらの間の相互依存性を活用します。AQLM は、8〜16 の重みのグループを複数のベクトルコードの和として表現します。これにより、精度の低下をかなり抑えながら、モデルを 2 ビットまで圧縮することが可能です。
AQLMの量子化プロセスは計算コストが高いため、事前量子化済みモデルの使用を推奨します。利用可能なモデルのリストの一部は、公式のaqlm リポジトリで確認できます。
モデルはLoRAアダプターのチューニングをサポートしています。量子化モデルのチューニングには、aqlm推論ライブラリのインストールが必要です: pip install aqlm>=1.0.2。LoRAアダプターは個別に保存する必要があります。AQLM量子化重みとのマージは不可能なためです。
quantized_model = AutoModelForCausalLM.from_pretrained(
"BlackSamorez/Mixtral-8x7b-AQLM-2Bit-1x16-hf-test-dispatch",
dtype="auto", device_map="auto", low_cpu_mem_usage=True,
)
peft_config = LoraConfig(...)
quantized_model = get_peft_model(quantized_model, peft_config)AQLM+LoRAファインチューニングの概要については、Google Colabの例を参照してください。
EETQ量子化
EETQ量子化モデルに対してLoRAファインチューニングを実行することもできます。EETQパッケージは、LLM.int8()アルゴリズムよりも高速であると主張されている8ビット量子化を、シンプルかつ効率的に行う方法を提供します。まず、EETQと互換性のあるtransformersのバージョン(最新のpypiからインストールするか、ソースからインストールするなど)を使用していることを確認してください。
import torch
from transformers import EetqConfig
config = EetqConfig("int8")configをfrom_pretrainedメソッドに渡します。
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1", quantization_config=config)LoraConfig を作成し、get_peft_model に渡します:
from peft import LoraConfig, get_peft_model
config = LoraConfig(
r=16,
lora_alpha=8,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
model = get_peft_model(model, config)HQQ量子化
Large Machine Learning Models の Half-Quadratic Quantization (HQQ) を使用して量子化されたモデルは、LoRA アダプターのチューニングをサポートしています。量子化されたモデルをチューニングするには、pip install hqq を使用して hqq ライブラリをインストールする必要があります。
from hqq.engine.hf import HQQModelForCausalLM
device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
quantized_model = HQQModelForCausalLM.from_quantized(save_dir_or_hfhub, device=device)
peft_config = LoraConfig(...)
quantized_model = get_peft_model(quantized_model, peft_config)HQQと互換性のあるtransformersバージョンを使用すること(例: 最新のpypiから、またはソースからインストールすること)。
from transformers import HqqConfig, AutoModelForCausalLM
quant_config = HqqConfig(nbits=4, group_size=64)
quantized_model = AutoModelForCausalLM.from_pretrained(save_dir_or_hfhub, device_map=device_map, quantization_config=quant_config)
peft_config = LoraConfig(...)
quantized_model = get_peft_model(quantized_model, peft_config)torchao (PyTorch アーキテクチャ最適化)
PEFTは、torchao(“ao”)によるint8量子化で量子化されたモデルをサポートしています。
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, TorchAoConfig
from torchao.quantization import Int8WeightOnlyConfig
model_id = ...
quantization_config = TorchAoConfig(quant_type=Int8WeightOnlyConfig())
base_model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=quantization_config)
peft_config = LoraConfig(...)
model = get_peft_model(base_model, peft_config)注意事項:
- 最新バージョンのtorchao(>= v0.4.0)とtransformers(> 4.42)を使用してください。
- 現在サポートされているのは、線形レイヤーのみです。
quant_type = "int4_weight_only"は現在サポートされていません。NF4は、現時点で Transformers に実装されておらず、サポートされていません。- 現時点では、DoRAは
quant_type = "int8_weight_only"でのみ動作します。 - LoRA と組み合わせた場合の torchao には明示的なサポートがあります。ただし、torchao がレイヤーを量子化しても、そのクラスは変更されず、基礎となるテンソルの型のみが変更されます。そのため、明示的なサポートがなくても、LoRA 以外の PEFT メソッドも一般的に torchao と一緒に動作します。ただし、マージは LoRA と
quant_type = "int8_weight_only"の組み合わせでのみ正しく動作します。別の PEFT メソッドや dtype を使用すると、マージ時にエラーが発生する可能性が高く、エラーが発生しない場合でも結果は正しくなりません。
INC量子化
Intel Neural Compressor (INC)は、Intel Gaudiアクセラレーター(HPUデバイスとも呼ばれる)を含むさまざまなデバイス向けのモデル量子化を可能にします。INCを使用して量子化されたモデルに対してLoRAファインチューニングを実行できます。PyTorchモデルでINCを使用するには、pip install neural-compressor[pt]でライブラリをインストールします。HPUデバイス向けにモデルをFP8精度で量子化するには、以下のワンステップ量子化ワークフローを使用できます。
import torch
from neural_compressor.torch.quantization import FP8Config, convert, finalize_calibration, prepare
quant_configs = {
...
}
config = FP8Config(**quant_configs)prepare メソッドに設定を渡し、推論を実行してキャリブレーション統計を収集し、finalize_calibration と convert メソッドを呼び出してモデルを FP8 精度に量子化します:
model = prepare(model, config)
# Run inference to collect calibration statistics
...
# Finalize calibration and convert the model to FP8 precision
finalize_calibration(model)
model = convert(model)
# Load PEFT LoRA adapter as usual
...HPUデバイス向けに、PEFT LoRAアダプターをINC量子化されたFLUXテキストから画像生成モデルに読み込む方法を示す例がこちらにあります。
注意事項:
merge()およびunmerge()メソッドは、現在、INC量子化モデルではサポートされていません。- 現在、PEFTアダプターを読み込む際にサポートされているのは、LinearのINC量子化レイヤーのみです。
サポートされているその他のPEFT手法
LoRAのほかに、以下のPEFT手法も量子化をサポートしています:
- VeRA(bitsandbytes量子化をサポート)
- AdaLoRA(bitsandbytesとGPTQの両方の量子化をサポート)
- (IA)³(bitsandbytes 量子化をサポート)
Transformer Engine (TE) LoRA
PEFTは、NVIDIA Transformer Engineレイヤー(te.pytorch.Linear、te.pytorch.LayerNormLinear、およびte.pytorch.LayerNormMLP)上にLoRAアダプターをサポートしています。TEレイヤーはFP8と融合カーネルを使用してTransformerの学習を高速化し、LoRAアダプターを付加することで、TEで高速化されたモデルのパラメータ効率の良いファインチューニングが可能になります。
from peft import LoraConfig, get_peft_model
config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["q_proj", "v_proj"],
task_type="TOKEN_CLS",
)
model = get_peft_model(te_model, config)Transformer Engine がインストールされている場合、PEFT は対応するレイヤーを自動的に TeLinear アダプターにディスパッチします。追加の設定は不要です。
注意事項
merge()およびunmerge()は、TEレイヤーではまだサポートされていません。- DoRAはTEレイヤーではサポートされていません。
完全なESM2トークン分類の例は、examples/lora_finetuning_transformer_engine/の下で利用できます。
量子化された重みにアダプタをマージする
サポートしているすべての量子化手法において、merge_adapter() はベースの重みをデクアンタイズし、アダプターの重みを加算したうえで、結果を再度量子化します。unmerge_adapter() はこれと逆の処理を行うため、元の量子化された重みを復元することはできず、merge と unmerge を繰り返すと丸め誤差が蓄積する可能性があります。元の重みを復元するには、ベースモデルを再読み込みしてください。マージせずにベースモデルとアダプターを切り替えるには、disable_adapter() コンテキストマネージャーを使用します。
次のステップ
量子化についてさらに詳しく知りたい場合は、以下のリソースが役立つ可能性があります。
- QLoRAの詳細については、Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRAブログ記事で、その影響に関するベンチマークを確認してください。
- TransformersのQuantizationガイドで、異なる量子化方式について詳しくお読みください。