Transformers documentation

Quanto

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Quanto

Quantoは、Optimumから提供されているPyTorchの量子化ライブラリです。線形層をPyTorch上で構築された量子化版に置き換えるため、PyTorchがサポートするすべてのデバイスで動作し、torch.nn.Linear層を持つすべてのモデル(音声モデルやビジョンモデルを含む)に対応します。MPSやCPUなど、他の方法ではサポートされていないハードウェア上で、重みを2、4、または8ビットに量子化するために使用できます。

以下の表は、Transformers で Quanto がサポートする内容をまとめました。

設定QuantoConfig
quant_methodquanto
ワークフロー読み込み時に量子化
ビット2, 4, 8
ハードウェアCUDA、MPS、XPU、CPU
保存❌
ファインチューニング✅
自動コンパイル❌

Quantoのインストール

optimum-quanto と Accelerate をインストールします。

pip install -U optimum-quanto accelerate

Quantumでモデルを量子化

QuantoConfig を作成し、from_pretrained() に渡します。weights は重みの dtype を設定し、"int8"(デフォルト)、"float8"、"int4"、または "int2" を受け取ります。

from transformers import AutoModelForCausalLM, QuantoConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=QuantoConfig(weights="int4"),
    device_map="auto",
)

制限事項

  • Transformers は重みの量子化のみを行います。QuantoConfig で activations を設定すると、ValueError が発生します。活性化の量子化、キャリブレーション、または量子化認識学習を行う場合は、Quanto ライブラリを直接使用してください。
  • TransformersではQuantoモデルを保存できません。Quantoライブラリには、量子化モデルを保存して再読み込みするための独自の仕組みがあります。
  • 読み込み時に量子化を行う場合、CPUやディスクへのオフロードはできません。モデルの一部を"cpu"または"disk"に配置するdevice_mapを指定すると、ValueErrorが発生します。

リソース

Update on GitHub