Transformers documentation
FP8 الدقيق
FP8 الدقيق
يخزّن FP8 الدقيق الأوزان في FP8 (E4M3) مع مقياس واحد لكل كتلة ثنائية الأبعاد من الأوزان، بحجم 128x128 افتراضيًا، ويكمّم التنشيطات إلى FP8 وقت التشغيل مع مقياس واحد لكل رمز لكل مجموعة من 128 قناة إدخال. وهو التنسيق الذي يستخدمه DeepSeek-V3 والعديد من نقاط التفتيش FP8 الأخرى على Hub. استخدمه لتشغيل نقاط التفتيش FP8، أو لكمّ نموذج إلى FP8 أثناء تحميله، على وحدات معالجة الرسومات Ada أو Hopper أو Blackwell وعلى وحدات المعالجة Intel XPU.
تلخص الجدول أدناه ما يدعمه Fine-grained FP8 في Transformers.
| إعداد | FineGrainedFP8Config |
quant_method | fp8, mxfp8 |
| سير العمل | Quantize while loading, load pre-quantized |
| بت | 8 |
| الأجهزة | CUDA (قدرة الحوسبة 8.9+), XPU |
| حفظ | ✅ |
| ضبط | ✅ |
| التجميع التلقائي | ✅ |
تثبيت نواة FP8 الدقيقة
تنزّل مكتبة Transformers نواة matmul بدقة FP8 من مستودع kernels-community/finegrained-fp8 على Hub. ثبّت مكتبتَي kernels وAccelerate.
pip install -U "transformers[kernels]" accelerateكمّ نموذج باستخدام FP8 الدقيق
أنشئ FineGrainedFP8Config وقم بتمريره إلى from_pretrained().
from transformers import AutoModelForCausalLM, FineGrainedFP8Config
quantization_config = FineGrainedFP8Config()
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=quantization_config,
device_map="cuda",
)تهيئة FP8 الدقيق
تُغيّر هذه المعلمات من FineGrainedFP8Config طريقة تكميم الأوزان والتفعيلات.
| معامل | افتراضي | التأثير |
|---|---|---|
weight_block_size | (128, 128) | حجم كتلة الأوزان التي تتشارك مقياسًا واحدًا. اضبطه على None للحصول على مقياس واحد لكل متجه أوزان. |
activation_scheme | "dynamic" | "dynamic" يحسب مقاييس التنشيط في وقت التشغيل. "static" يستخدم مقياس تنشيط واحدًا مخزّنًا لكل طبقة، يُقرأ من نقطة تحقق مُكمّاة مسبقًا. |
scale_fmt | "float" | صيغة تخزين مقاييس الأوزان. "float" يخزّن مقاييس من نوع float32. "ue8m0" يخزّن مقاييس من نوع قوة اثنين بحجم بايت واحد (torch.float8_e8m0fnu)، كما في نقاط التفتيش الخاصة بـ DeepSeek-V4، ويتطلب PyTorch الإصدار 2.7 أو أحدث. |
expert_dtype | "fp8" | تنسيق أوزان مزيج الخبراء. "fp4" يحمّل الخبراء المعبّأة بصيغة FP4 في نقاط التفتيش الخاصة بـ DeepSeek-V4. |
modules_to_convert | None | جداول التضمين التي يتم تحميلها بدقة FP8 من نقطة تحقق مُسبقة التكميم، مع مطابقة لاحقة اسم الوحدة. |
تحميل نقطة تحقق FP8 مُكمّاة مسبقًا
تحمل نقاط التفتيش المُكمّمة باستخدام Fine-grained FP8 إعدادات الكمّتها، لذا حمّلها دون FineGrainedFP8Config.
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B-FP8", device_map="cuda")يدعم FP8 الدقيق أيضًا تحميل نقاط التفتيش MXFP8، حيث يحدد ملف الإعداد الخاص بها quant_method="mxfp8". يخزّن MXFP8 أوزان FP8 مع مقياس واحد من قوى الرقم 2، يُحفظ على شكل بايت، لكل كتلة من 32 وزنًا.
استخدم المسار السريع لـ DeepGEMM
على وحدات معالجة الرسومات Hopper (SM90) و Blackwell (SM100)، تُوجَّه طبقات FP8 الخطية إلى نواة DeepGEMM من kernels-community/deep-gemm عندما يكون weight_block_size=(128, 128) و activation_scheme="dynamic". تكون DeepGEMM أسرع من نواة Triton الافتراضية على الأشكال التي تدعمها. يتيح التثبيت المذكور أعلاه لنواة kernels تفعيل ذلك.
يقوم DeepGEMM بتجميع نواته باستخدام nvcc الخاص بالنظام عند أول تشغيل له، لذا تحتاج إلى تثبيت كامل لأدوات CUDA وليس تثبيتًا لتشغيل الوقت فقط. يتطلب Hopper إصدار CUDA 12.3 أو أحدث، ويتطلب Blackwell إصدار CUDA 12.9 أو أحدث. يبحث Transformers عن مجموعة الأدوات في CUDA_HOME، ثم CUDA_PATH، ثم في مجلد nvcc الموجود في PATH الخاص بك، ثم في /usr/local/cuda. اضبط CUDA_HOME على جذر مجموعة الأدوات إذا لم يجدها Transformers.
إذا تعذّر على DeepGEMM تحميل طبقة أو رفضها، يسجّل Transformers تحذيرًا ويعود إلى نواة Triton. اضبط TRANSFORMERS_DISABLE_DEEPGEMM_LINEAR=1 لاستخدام نواة Triton دائمًا للطبقات الخطية.
على Blackwell، يقرأ DeepGEMM مقاييس UE8M0 فقط. تستخدم طبقات Linear التي تعتمد على مقاييس float32 (scale_fmt="float") نواة Triton بدلاً من ذلك.
في طبقات مزيج الخبراء، يكون تفعيل DeepGEMM اختياريًا. مرّر experts_implementation="deepgemm" إلى from_pretrained()، أو مرّر "deepgemm_megamoe" على Blackwell. راجع دليل واجهات الخبراء للاطلاع على جميع الخيارات.
القيود
- يتطلب التكميم أثناء التحميل معالج CUDA أو XPU. في حال عدم توفره، يثير التحميل
RuntimeError. يمكن تحميل نقطة تحقق مُكمّمة مسبقًا دون معجّل، لكن Transformers ستلغي تكميمها إلى bf16 وتسجّل تحذيرًا. - على CUDA، يتطلب حساب FP8 قدرات حسابية 8.9 أو أعلى، مثل RTX 4090 أو H100. على بطاقة رسومات أقدم، يقوم Transformers بإلغاء تكميم النموذج إلى bf16 ويسجّل تحذيرًا.
- لا يمكن إجراء التكميم أثناء التحميل مع تفريغ الأحمال إلى وحدة المعالجة المركزية أو القرص. يؤدي استخدام
device_mapيتضمن"cpu"أو"disk"إلى جانب أجهزة أخرى إلى رفعValueError. يمكن لنقطة التفتيش المُكمَّمة مسبقًا أن تُفرغ الأحمال. - يتم تعطيل DeepGEMM عندما توزّع عملية واحدة النموذج على عدة أجهزة CUDA، حيث تستخدم طبقات FP8 نواة Triton بدلاً من ذلك. يؤدي تحديد
experts_implementation="deepgemm"في ذلك الإعداد إلى رفعRuntimeError. نفّذ توازي التينسور أو توازي الخبراء، بجهاز واحد لكل عملية، للحفاظ على DeepGEMM. - على Blackwell، يثير خلفية الخبراء
"deepgemm"خطأً من نوعNotImplementedErrorلمقاييس float32. استخدم نقطة تفتيش بـscale_fmt="ue8m0"، أو خلفيات الخبراء"grouped_mm"أو"batched_mm". - لا تدعم واجهات الخبراء
"grouped_mm"و"batched_mm"activation_scheme="static"وتُطلقNotImplementedError. - يتطلب
scale_fmt="ue8m0"إصدار PyTorch 2.7 أو أحدث. تثير الإصدارات الأقدمRuntimeError.
الموارد
- ورقة DeepSeek-V3 Technical Report
- مستودع DeepGEMM