Transformers documentation

FP8 chi tiết

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FP8 chi tiết

Fine-grained FP8 lưu trữ trọng số ở định dạng FP8 (E4M3) với một hệ số tỷ lệ cho mỗi khối 2D trọng số, mặc định là 128x128, và lượng tử hóa kích hoạt sang FP8 khi chạy với một hệ số tỷ lệ cho mỗi token của mỗi nhóm 128 kênh đầu vào. Đây là định dạng mà DeepSeek-V3 và nhiều checkpoint FP8 khác trên Hub sử dụng. Hãy sử dụng nó để chạy các checkpoint FP8, hoặc để lượng tử hóa một mô hình sang FP8 trong khi tải, trên các GPU Ada, Hopper hoặc Blackwell và trên Intel XPUs.

Bảng dưới đây tóm tắt những gì Fine-grained FP8 hỗ trợ trong Transformers.

Cấu hìnhFineGrainedFP8Config
quant_methodfp8, mxfp8
Quy trình làm việcThực hiện lượng tử hóa khi tải, tải mô hình đã lượng tử hóa sẵn
Bits8
Phần cứngCUDA (khả năng tính toán 8.9+), XPU
Lưu✅
Tinh chỉnh✅
Tự động biên dịch✅

Cài đặt các kernel FP8 Fine-grained

Transformers tải kernel matmul FP8 từ kho kernels-community/finegrained-fp8 trên Hub. Cài đặt các thư viện kernels và Accelerate.

pip install -U "transformers[kernels]" accelerate

Lượng tử hóa một mô hình với FP8 chi tiết

Tạo một FineGrainedFP8Config và truyền nó vào from_pretrained().

from transformers import AutoModelForCausalLM, FineGrainedFP8Config

quantization_config = FineGrainedFP8Config()
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    device_map="cuda",
)

Cấu hình FP8 chi tiết

Các tham số FineGrainedFP8Config này thay đổi cách lượng tử hóa trọng số và kích hoạt.

Tham sốMặc địnhHiệu ứng
weight_block_size(128, 128)Kích thước của khối trọng số chia sẻ một thang đo. Đặt thành None để có một thang đo cho mỗi tensor trọng số.
activation_scheme"dynamic""dynamic" tính toán thang kích hoạt (activation scale) tại thời điểm chạy. "static" sử dụng một thang kích hoạt đã lưu cho mỗi lớp, được đọc từ checkpoint đã lượng tử hóa trước.
scale_fmt"float"Định dạng lưu trữ của các thang đo trọng số. "float" lưu các thang đo float32. "ue8m0" lưu các thang đo lũy thừa của hai 1 byte (torch.float8_e8m0fnu), như trong các checkpoint của DeepSeek-V4, và yêu cầu PyTorch 2.7 trở lên.
expert_dtype"fp8"Định dạng của trọng số mixture-of-experts. "fp4" nạp các chuyên gia đóng gói FP4 trong các checkpoint của DeepSeek-V4.
modules_to_convertNoneCác bảng embedding cần nạp ở FP8 từ checkpoint đã lượng tử hóa trước, được khớp theo hậu tố tên module.

Tải checkpoint FP8 đã lượng tử hóa

Các checkpoint được lượng tử hóa bằng Fine-grained FP8 chứa cấu hình lượng tử hóa của chúng, vì vậy hãy tải chúng mà không cần FineGrainedFP8Config.

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B-FP8", device_map="cuda")

FP8 chi tiết cũng nạp các checkpoint MXFP8, trong đó cấu hình đặt quant_method="mxfp8". MXFP8 lưu trữ trọng số FP8 với một hệ số tỷ lệ lũy thừa hai, được lưu dưới dạng một byte, cho mỗi khối 32 trọng số.

Sử dụng đường dẫn nhanh DeepGEMM

Trên GPU Hopper (SM90) và Blackwell (SM100), các lớp tuyến tính FP8 sẽ gọi các kernel DeepGEMM từ kernels-community/deep-gemm khi weight_block_size=(128, 128) và activation_scheme="dynamic". DeepGEMM nhanh hơn kernel Triton mặc định trên các hình dạng mà nó hỗ trợ. Việc cài đặt kernels ở trên sẽ kích hoạt tính năng này.

DeepGEMM biên dịch các kernel của nó bằng nvcc của hệ thống vào lần chạy đầu tiên, vì vậy bạn cần cài đặt bộ công cụ CUDA đầy đủ, không chỉ bản cài đặt runtime. Hopper yêu cầu CUDA 12.3 trở lên và Blackwell yêu cầu CUDA 12.9 trở lên. Transformers tìm bộ công cụ trong CUDA_HOME, sau đó là CUDA_PATH, sau đó là thư mục chứa nvcc trong PATH của bạn, và cuối cùng là /usr/local/cuda. Đặt CUDA_HOME về thư mục gốc của bộ công cụ nếu Transformers không tìm thấy nó.

Nếu DeepGEMM không thể nạp hoặc từ chối một lớp, Transformers sẽ ghi nhận một cảnh báo và chuyển sang sử dụng kernel Triton. Đặt TRANSFORMERS_DISABLE_DEEPGEMM_LINEAR=1 để luôn sử dụng kernel Triton cho các lớp tuyến tính.

Trên Blackwell, DeepGEMM chỉ đọc các scale UE8M0. Các lớp Linear có scale float32 (scale_fmt="float") sẽ sử dụng kernel Triton thay thế.

Đối với các lớp mixture-of-experts, DeepGEMM là tùy chọn. Truyền experts_implementation="deepgemm" vào from_pretrained(), hoặc "deepgemm_megamoe" trên Blackwell. Xem hướng dẫn Experts backends để biết mọi tùy chọn.

Hạn chế

  • Việc lượng tử hóa trong khi tải yêu cầu một GPU CUDA hoặc XPU. Nếu không có, quá trình tải sẽ gây ra RuntimeError. Một checkpoint đã được lượng tử hóa trước có thể được tải mà không cần bộ tăng tốc, nhưng Transformers sẽ khử lượng tử hóa nó về bf16 và ghi lại một cảnh báo.
  • Trên CUDA, tính toán FP8 yêu cầu khả năng tính toán (compute capability) 8.9 trở lên, chẳng hạn như RTX 4090 hoặc H100. Trên GPU đời cũ, Transformers sẽ khử lượng tử hóa (dequantize) mô hình xuống bf16 và ghi lại một cảnh báo.
  • Việc lượng tử hóa trong khi tải không thể offload sang CPU hoặc đĩa. Một device_map bao gồm "cpu" hoặc "disk" cùng với các thiết bị khác sẽ gây ra ValueError. Một checkpoint đã được lượng tử hóa trước có thể offload.
  • DeepGEMM sẽ bị tắt khi một tiến trình phân phối mô hình trên nhiều thiết bị CUDA, và các lớp FP8 sẽ sử dụng kernel Triton thay thế. Việc chọn experts_implementation="deepgemm" trong cấu hình đó sẽ gây ra RuntimeError. Hãy chạy song song tensor hoặc song song expert, với một thiết bị cho mỗi tiến trình, để giữ DeepGEMM.
  • Trên Blackwell, backend chuyên gia "deepgemm" gây ra NotImplementedError cho các scale float32. Hãy sử dụng checkpoint scale_fmt="ue8m0", hoặc các backend chuyên gia "grouped_mm" hoặc "batched_mm".
  • Các backend chuyên gia "grouped_mm" và "batched_mm" không hỗ trợ activation_scheme="static" và sẽ gây ra NotImplementedError.
  • scale_fmt="ue8m0" yêu cầu PyTorch 2.7 trở lên. Các phiên bản cũ hơn sẽ gây ra RuntimeError.

Tài nguyên

Update on GitHub