You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v5.23.0).
Quanto
Quantoは、Optimumから提供されているPyTorchの量子化ライブラリです。線形層をPyTorch上で構築された量子化版に置き換えるため、PyTorchがサポートするすべてのデバイスで動作し、torch.nn.Linear層を持つすべてのモデル(音声モデルやビジョンモデルを含む)に対応します。MPSやCPUなど、他の方法ではサポートされていないハードウェア上で、重みを2、4、または8ビットに量子化するために使用できます。
以下の表は、Transformers で Quanto がサポートする内容をまとめました。
| 設定 | QuantoConfig |
quant_method | quanto |
| ワークフロー | 読み込み時に量子化 |
| ビット | 2, 4, 8 |
| ハードウェア | CUDA、MPS、XPU、CPU |
| 保存 | ❌ |
| ファインチューニング | ✅ |
| 自動コンパイル | ❌ |
Quantoのインストール
optimum-quanto と Accelerate をインストールします。
pip install -U optimum-quanto accelerate
Quantumでモデルを量子化
QuantoConfig を作成し、from_pretrained() に渡します。weights は重みの dtype を設定し、"int8"(デフォルト)、"float8"、"int4"、または "int2" を受け取ります。
from transformers import AutoModelForCausalLM, QuantoConfig
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=QuantoConfig(weights="int4"),
device_map="auto",
)制限事項
- Transformers は重みの量子化のみを行います。QuantoConfig で
activationsを設定すると、ValueErrorが発生します。活性化の量子化、キャリブレーション、または量子化認識学習を行う場合は、Quanto ライブラリを直接使用してください。 - TransformersではQuantoモデルを保存できません。Quantoライブラリには、量子化モデルを保存して再読み込みするための独自の仕組みがあります。
- 読み込み時に量子化を行う場合、CPUやディスクへのオフロードはできません。モデルの一部を
"cpu"または"disk"に配置するdevice_mapを指定すると、ValueErrorが発生します。