Transformers documentation

HIGGS

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HIGGS

HIGGS menerapkan transformasi Hadamard ke setiap matriks bobot, kemudian membulatkan kelompok bobot ke grid yang meminimalkan mean squared error, tanpa data kalibrasi. Gunakan untuk bobot 2- hingga 4-bit pada GPU NVIDIA, dengan kernel FLUTE yang menjalankan matmul.

Tabel di bawah ini merangkum apa yang didukung HIGGS di Transformers.

KonfigurasiHiggsConfig
quant_methodhiggs
Alur KerjaKuantisasi saat memuat
Bit2, 3, 4
Perangkat KerasCUDA
Simpan✅
Fine-tune❌
Auto-compile❌

Install HIGGS

Instal FLUTE 0.3.0 atau lebih baru, fast-hadamard-transform, dan Accelerate.

pip install -U "flute-kernel>=0.3.0" fast_hadamard_transform accelerate

Kuantisasi model dengan HIGGS

Buat HiggsConfig dan teruskan ke from_pretrained(). Atur device_map ke perangkat CUDA Anda, dan muat model dalam fp16 atau bf16.

from transformers import AutoModelForCausalLM, HiggsConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=HiggsConfig(bits=4),
    device_map="cuda",
)

Setelah bobot dimuat, FLUTE menyesuaikan kernel-nya untuk setiap lapisan pada GPU Anda dan mengemas ulang bobot tersebut. Hasil penyesuaian disimpan dalam tune_metadata dari konfigurasi, sehingga model yang disimpan tidak perlu disetel ulang.

Konfigurasi HIGGS

Parameter HiggsConfig ini mengubah cara bobot dikuantisasi.

ParameterDefaultEfek
bits4Jumlah bit per bobot. Mendukung 2, 3, dan 4.
p2Dimensi kuantisasi grid, yaitu 1 atau 2. Grid dengan p=2 membulatkan pasangan bobot secara bersama-sama dan lebih akurat.
group_size256Jumlah bobot yang berbagi skala. Mendukung 64, 128, dan 256. Harus membagi hadamard_size.
hadamard_size512Ukuran transformasi Hadamard. Dimensi input setiap lapisan dipadatkan menjadi kelipatan dari ukuran ini. Nilai yang lebih kecil mengurangi akurasi.

Percepat inferensi dengan torch.compile

Tanpa kompilasi, HIGGS berjalan lebih lambat daripada bf16. generate() tidak mengompilasi model HIGGS secara otomatis, jadi kompilasi model Anda sendiri dengan torch.compile.

model = torch.compile(model)

Tabel di bawah ini menunjukkan jumlah forward passes per detik untuk Llama-3.1-8B-Instruct pada RTX 4090.

Ukuran batchbf16 (dikompilasi)HIGGS 4-bitHIGGS 4-bit (dikompilasi)
15941124
45742123
165641120

Keterbatasan

  • HIGGS memerlukan GPU CUDA. Memuatnya tanpa GPU tersebut akan memicu NotImplementedError.
  • Memuat tanpa device_map, atau dengan device_map yang mencakup "cpu" atau "disk", akan memicu ValueError.
  • Memuat dalam dtype selain fp16 atau bf16 akan memicu ValueError.

Sumber daya

Update on GitHub