Transformers documentation
FP8 chi tiết
FP8 chi tiết
Fine-grained FP8 lưu trữ trọng số ở định dạng FP8 (E4M3) với một hệ số tỷ lệ cho mỗi khối 2D trọng số, mặc định là 128x128, và lượng tử hóa kích hoạt sang FP8 khi chạy với một hệ số tỷ lệ cho mỗi token của mỗi nhóm 128 kênh đầu vào. Đây là định dạng mà DeepSeek-V3 và nhiều checkpoint FP8 khác trên Hub sử dụng. Hãy sử dụng nó để chạy các checkpoint FP8, hoặc để lượng tử hóa một mô hình sang FP8 trong khi tải, trên các GPU Ada, Hopper hoặc Blackwell và trên Intel XPUs.
Bảng dưới đây tóm tắt những gì Fine-grained FP8 hỗ trợ trong Transformers.
| Cấu hình | FineGrainedFP8Config |
quant_method | fp8, mxfp8 |
| Quy trình làm việc | Thực hiện lượng tử hóa khi tải, tải mô hình đã lượng tử hóa sẵn |
| Bits | 8 |
| Phần cứng | CUDA (khả năng tính toán 8.9+), XPU |
| Lưu | ✅ |
| Tinh chỉnh | ✅ |
| Tự động biên dịch | ✅ |
Cài đặt các kernel FP8 Fine-grained
Transformers tải kernel matmul FP8 từ kho kernels-community/finegrained-fp8 trên Hub. Cài đặt các thư viện kernels và Accelerate.
pip install -U "transformers[kernels]" accelerateLượng tử hóa một mô hình với FP8 chi tiết
Tạo một FineGrainedFP8Config và truyền nó vào from_pretrained().
from transformers import AutoModelForCausalLM, FineGrainedFP8Config
quantization_config = FineGrainedFP8Config()
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=quantization_config,
device_map="cuda",
)Cấu hình FP8 chi tiết
Các tham số FineGrainedFP8Config này thay đổi cách lượng tử hóa trọng số và kích hoạt.
| Tham số | Mặc định | Hiệu ứng |
|---|---|---|
weight_block_size | (128, 128) | Kích thước của khối trọng số chia sẻ một thang đo. Đặt thành None để có một thang đo cho mỗi tensor trọng số. |
activation_scheme | "dynamic" | "dynamic" tính toán thang kích hoạt (activation scale) tại thời điểm chạy. "static" sử dụng một thang kích hoạt đã lưu cho mỗi lớp, được đọc từ checkpoint đã lượng tử hóa trước. |
scale_fmt | "float" | Định dạng lưu trữ của các thang đo trọng số. "float" lưu các thang đo float32. "ue8m0" lưu các thang đo lũy thừa của hai 1 byte (torch.float8_e8m0fnu), như trong các checkpoint của DeepSeek-V4, và yêu cầu PyTorch 2.7 trở lên. |
expert_dtype | "fp8" | Định dạng của trọng số mixture-of-experts. "fp4" nạp các chuyên gia đóng gói FP4 trong các checkpoint của DeepSeek-V4. |
modules_to_convert | None | Các bảng embedding cần nạp ở FP8 từ checkpoint đã lượng tử hóa trước, được khớp theo hậu tố tên module. |
Tải checkpoint FP8 đã lượng tử hóa
Các checkpoint được lượng tử hóa bằng Fine-grained FP8 chứa cấu hình lượng tử hóa của chúng, vì vậy hãy tải chúng mà không cần FineGrainedFP8Config.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B-FP8", device_map="cuda")FP8 chi tiết cũng nạp các checkpoint MXFP8, trong đó cấu hình đặt quant_method="mxfp8". MXFP8 lưu trữ trọng số FP8 với một hệ số tỷ lệ lũy thừa hai, được lưu dưới dạng một byte, cho mỗi khối 32 trọng số.
Sử dụng đường dẫn nhanh DeepGEMM
Trên GPU Hopper (SM90) và Blackwell (SM100), các lớp tuyến tính FP8 sẽ gọi các kernel DeepGEMM từ kernels-community/deep-gemm khi weight_block_size=(128, 128) và activation_scheme="dynamic". DeepGEMM nhanh hơn kernel Triton mặc định trên các hình dạng mà nó hỗ trợ. Việc cài đặt kernels ở trên sẽ kích hoạt tính năng này.
DeepGEMM biên dịch các kernel của nó bằng nvcc của hệ thống vào lần chạy đầu tiên, vì vậy bạn cần cài đặt bộ công cụ CUDA đầy đủ, không chỉ bản cài đặt runtime. Hopper yêu cầu CUDA 12.3 trở lên và Blackwell yêu cầu CUDA 12.9 trở lên. Transformers tìm bộ công cụ trong CUDA_HOME, sau đó là CUDA_PATH, sau đó là thư mục chứa nvcc trong PATH của bạn, và cuối cùng là /usr/local/cuda. Đặt CUDA_HOME về thư mục gốc của bộ công cụ nếu Transformers không tìm thấy nó.
Nếu DeepGEMM không thể nạp hoặc từ chối một lớp, Transformers sẽ ghi nhận một cảnh báo và chuyển sang sử dụng kernel Triton. Đặt TRANSFORMERS_DISABLE_DEEPGEMM_LINEAR=1 để luôn sử dụng kernel Triton cho các lớp tuyến tính.
Trên Blackwell, DeepGEMM chỉ đọc các scale UE8M0. Các lớp Linear có scale float32 (scale_fmt="float") sẽ sử dụng kernel Triton thay thế.
Đối với các lớp mixture-of-experts, DeepGEMM là tùy chọn. Truyền experts_implementation="deepgemm" vào from_pretrained(), hoặc "deepgemm_megamoe" trên Blackwell. Xem hướng dẫn Experts backends để biết mọi tùy chọn.
Hạn chế
- Việc lượng tử hóa trong khi tải yêu cầu một GPU CUDA hoặc XPU. Nếu không có, quá trình tải sẽ gây ra
RuntimeError. Một checkpoint đã được lượng tử hóa trước có thể được tải mà không cần bộ tăng tốc, nhưng Transformers sẽ khử lượng tử hóa nó về bf16 và ghi lại một cảnh báo. - Trên CUDA, tính toán FP8 yêu cầu khả năng tính toán (compute capability) 8.9 trở lên, chẳng hạn như RTX 4090 hoặc H100. Trên GPU đời cũ, Transformers sẽ khử lượng tử hóa (dequantize) mô hình xuống bf16 và ghi lại một cảnh báo.
- Việc lượng tử hóa trong khi tải không thể offload sang CPU hoặc đĩa. Một
device_mapbao gồm"cpu"hoặc"disk"cùng với các thiết bị khác sẽ gây raValueError. Một checkpoint đã được lượng tử hóa trước có thể offload. - DeepGEMM sẽ bị tắt khi một tiến trình phân phối mô hình trên nhiều thiết bị CUDA, và các lớp FP8 sẽ sử dụng kernel Triton thay thế. Việc chọn
experts_implementation="deepgemm"trong cấu hình đó sẽ gây raRuntimeError. Hãy chạy song song tensor hoặc song song expert, với một thiết bị cho mỗi tiến trình, để giữ DeepGEMM. - Trên Blackwell, backend chuyên gia
"deepgemm"gây raNotImplementedErrorcho các scale float32. Hãy sử dụng checkpointscale_fmt="ue8m0", hoặc các backend chuyên gia"grouped_mm"hoặc"batched_mm". - Các backend chuyên gia
"grouped_mm"và"batched_mm"không hỗ trợactivation_scheme="static"và sẽ gây raNotImplementedError. scale_fmt="ue8m0"yêu cầu PyTorch 2.7 trở lên. Các phiên bản cũ hơn sẽ gây raRuntimeError.
Tài nguyên
- bài báo DeepSeek-V3 Technical Report
- DeepGEMM