Transformers documentation
HIGGS
HIGGS
HIGGS menerapkan transformasi Hadamard ke setiap matriks bobot, kemudian membulatkan kelompok bobot ke grid yang meminimalkan mean squared error, tanpa data kalibrasi. Gunakan untuk bobot 2- hingga 4-bit pada GPU NVIDIA, dengan kernel FLUTE yang menjalankan matmul.
Tabel di bawah ini merangkum apa yang didukung HIGGS di Transformers.
| Konfigurasi | HiggsConfig |
quant_method | higgs |
| Alur Kerja | Kuantisasi saat memuat |
| Bit | 2, 3, 4 |
| Perangkat Keras | CUDA |
| Simpan | ✅ |
| Fine-tune | ❌ |
| Auto-compile | ❌ |
Install HIGGS
Instal FLUTE 0.3.0 atau lebih baru, fast-hadamard-transform, dan Accelerate.
pip install -U "flute-kernel>=0.3.0" fast_hadamard_transform accelerateKuantisasi model dengan HIGGS
Buat HiggsConfig dan teruskan ke from_pretrained(). Atur device_map ke perangkat CUDA Anda, dan muat model dalam fp16 atau bf16.
from transformers import AutoModelForCausalLM, HiggsConfig
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=HiggsConfig(bits=4),
device_map="cuda",
)Setelah bobot dimuat, FLUTE menyesuaikan kernel-nya untuk setiap lapisan pada GPU Anda dan mengemas ulang bobot tersebut. Hasil penyesuaian disimpan dalam tune_metadata dari konfigurasi, sehingga model yang disimpan tidak perlu disetel ulang.
Konfigurasi HIGGS
Parameter HiggsConfig ini mengubah cara bobot dikuantisasi.
| Parameter | Default | Efek |
|---|---|---|
bits | 4 | Jumlah bit per bobot. Mendukung 2, 3, dan 4. |
p | 2 | Dimensi kuantisasi grid, yaitu 1 atau 2. Grid dengan p=2 membulatkan pasangan bobot secara bersama-sama dan lebih akurat. |
group_size | 256 | Jumlah bobot yang berbagi skala. Mendukung 64, 128, dan 256. Harus membagi hadamard_size. |
hadamard_size | 512 | Ukuran transformasi Hadamard. Dimensi input setiap lapisan dipadatkan menjadi kelipatan dari ukuran ini. Nilai yang lebih kecil mengurangi akurasi. |
Percepat inferensi dengan torch.compile
Tanpa kompilasi, HIGGS berjalan lebih lambat daripada bf16. generate() tidak mengompilasi model HIGGS secara otomatis, jadi kompilasi model Anda sendiri dengan torch.compile.
model = torch.compile(model)Tabel di bawah ini menunjukkan jumlah forward passes per detik untuk Llama-3.1-8B-Instruct pada RTX 4090.
| Ukuran batch | bf16 (dikompilasi) | HIGGS 4-bit | HIGGS 4-bit (dikompilasi) |
|---|---|---|---|
| 1 | 59 | 41 | 124 |
| 4 | 57 | 42 | 123 |
| 16 | 56 | 41 | 120 |
Keterbatasan
- HIGGS memerlukan GPU CUDA. Memuatnya tanpa GPU tersebut akan memicu
NotImplementedError. - Memuat tanpa
device_map, atau dengandevice_mapyang mencakup"cpu"atau"disk", akan memicuValueError. - Memuat dalam dtype selain fp16 atau bf16 akan memicu
ValueError.
Sumber daya
- Pushing the Limits of Large Language Model Quantization via the Linearity Theorem paper
- repo FLUTE
- Koleksi model HIGGS dari ISTA-DASLab