Transformers documentation

FP8 الدقيق

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.23.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FP8 الدقيق

يخزّن FP8 الدقيق الأوزان في FP8 (E4M3) مع مقياس واحد لكل كتلة ثنائية الأبعاد من الأوزان، بحجم 128x128 افتراضيًا، ويكمّم التنشيطات إلى FP8 وقت التشغيل مع مقياس واحد لكل رمز لكل مجموعة من 128 قناة إدخال. وهو التنسيق الذي يستخدمه DeepSeek-V3 والعديد من نقاط التفتيش FP8 الأخرى على Hub. استخدمه لتشغيل نقاط التفتيش FP8، أو لكمّ نموذج إلى FP8 أثناء تحميله، على وحدات معالجة الرسومات Ada أو Hopper أو Blackwell وعلى وحدات المعالجة Intel XPU.

تلخص الجدول أدناه ما يدعمه Fine-grained FP8 في Transformers.

إعدادFineGrainedFP8Config
quant_methodfp8, mxfp8
سير العملQuantize while loading, load pre-quantized
بت8
الأجهزةCUDA (قدرة الحوسبة 8.9+), XPU
حفظ✅
ضبط✅
التجميع التلقائي✅

تثبيت نواة FP8 الدقيقة

تنزّل مكتبة Transformers نواة matmul بدقة FP8 من مستودع kernels-community/finegrained-fp8 على Hub. ثبّت مكتبتَي kernels وAccelerate.

pip install -U "transformers[kernels]" accelerate

كمّ نموذج باستخدام FP8 الدقيق

أنشئ FineGrainedFP8Config وقم بتمريره إلى from_pretrained().

from transformers import AutoModelForCausalLM, FineGrainedFP8Config

quantization_config = FineGrainedFP8Config()
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    device_map="cuda",
)

تهيئة FP8 الدقيق

تُغيّر هذه المعلمات من FineGrainedFP8Config طريقة تكميم الأوزان والتفعيلات.

معاملافتراضيالتأثير
weight_block_size(128, 128)حجم كتلة الأوزان التي تتشارك مقياسًا واحدًا. اضبطه على None للحصول على مقياس واحد لكل متجه أوزان.
activation_scheme"dynamic""dynamic" يحسب مقاييس التنشيط في وقت التشغيل. "static" يستخدم مقياس تنشيط واحدًا مخزّنًا لكل طبقة، يُقرأ من نقطة تحقق مُكمّاة مسبقًا.
scale_fmt"float"صيغة تخزين مقاييس الأوزان. "float" يخزّن مقاييس من نوع float32. "ue8m0" يخزّن مقاييس من نوع قوة اثنين بحجم بايت واحد (torch.float8_e8m0fnu)، كما في نقاط التفتيش الخاصة بـ DeepSeek-V4، ويتطلب PyTorch الإصدار 2.7 أو أحدث.
expert_dtype"fp8"تنسيق أوزان مزيج الخبراء. "fp4" يحمّل الخبراء المعبّأة بصيغة FP4 في نقاط التفتيش الخاصة بـ DeepSeek-V4.
modules_to_convertNoneجداول التضمين التي يتم تحميلها بدقة FP8 من نقطة تحقق مُسبقة التكميم، مع مطابقة لاحقة اسم الوحدة.

تحميل نقطة تحقق FP8 مُكمّاة مسبقًا

تحمل نقاط التفتيش المُكمّمة باستخدام Fine-grained FP8 إعدادات الكمّتها، لذا حمّلها دون FineGrainedFP8Config.

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-8B-FP8", device_map="cuda")

يدعم FP8 الدقيق أيضًا تحميل نقاط التفتيش MXFP8، حيث يحدد ملف الإعداد الخاص بها quant_method="mxfp8". يخزّن MXFP8 أوزان FP8 مع مقياس واحد من قوى الرقم 2، يُحفظ على شكل بايت، لكل كتلة من 32 وزنًا.

استخدم المسار السريع لـ DeepGEMM

على وحدات معالجة الرسومات Hopper (SM90) و Blackwell (SM100)، تُوجَّه طبقات FP8 الخطية إلى نواة DeepGEMM من kernels-community/deep-gemm عندما يكون weight_block_size=(128, 128) و activation_scheme="dynamic". تكون DeepGEMM أسرع من نواة Triton الافتراضية على الأشكال التي تدعمها. يتيح التثبيت المذكور أعلاه لنواة kernels تفعيل ذلك.

يقوم DeepGEMM بتجميع نواته باستخدام nvcc الخاص بالنظام عند أول تشغيل له، لذا تحتاج إلى تثبيت كامل لأدوات CUDA وليس تثبيتًا لتشغيل الوقت فقط. يتطلب Hopper إصدار CUDA 12.3 أو أحدث، ويتطلب Blackwell إصدار CUDA 12.9 أو أحدث. يبحث Transformers عن مجموعة الأدوات في CUDA_HOME، ثم CUDA_PATH، ثم في مجلد nvcc الموجود في PATH الخاص بك، ثم في /usr/local/cuda. اضبط CUDA_HOME على جذر مجموعة الأدوات إذا لم يجدها Transformers.

إذا تعذّر على DeepGEMM تحميل طبقة أو رفضها، يسجّل Transformers تحذيرًا ويعود إلى نواة Triton. اضبط TRANSFORMERS_DISABLE_DEEPGEMM_LINEAR=1 لاستخدام نواة Triton دائمًا للطبقات الخطية.

على Blackwell، يقرأ DeepGEMM مقاييس UE8M0 فقط. تستخدم طبقات Linear التي تعتمد على مقاييس float32 (scale_fmt="float") نواة Triton بدلاً من ذلك.

في طبقات مزيج الخبراء، يكون تفعيل DeepGEMM اختياريًا. مرّر experts_implementation="deepgemm" إلى from_pretrained()، أو مرّر "deepgemm_megamoe" على Blackwell. راجع دليل واجهات الخبراء للاطلاع على جميع الخيارات.

القيود

  • يتطلب التكميم أثناء التحميل معالج CUDA أو XPU. في حال عدم توفره، يثير التحميل RuntimeError. يمكن تحميل نقطة تحقق مُكمّمة مسبقًا دون معجّل، لكن Transformers ستلغي تكميمها إلى bf16 وتسجّل تحذيرًا.
  • على CUDA، يتطلب حساب FP8 قدرات حسابية 8.9 أو أعلى، مثل RTX 4090 أو H100. على بطاقة رسومات أقدم، يقوم Transformers بإلغاء تكميم النموذج إلى bf16 ويسجّل تحذيرًا.
  • لا يمكن إجراء التكميم أثناء التحميل مع تفريغ الأحمال إلى وحدة المعالجة المركزية أو القرص. يؤدي استخدام device_map يتضمن "cpu" أو "disk" إلى جانب أجهزة أخرى إلى رفع ValueError. يمكن لنقطة التفتيش المُكمَّمة مسبقًا أن تُفرغ الأحمال.
  • يتم تعطيل DeepGEMM عندما توزّع عملية واحدة النموذج على عدة أجهزة CUDA، حيث تستخدم طبقات FP8 نواة Triton بدلاً من ذلك. يؤدي تحديد experts_implementation="deepgemm" في ذلك الإعداد إلى رفع RuntimeError. نفّذ توازي التينسور أو توازي الخبراء، بجهاز واحد لكل عملية، للحفاظ على DeepGEMM.
  • على Blackwell، يثير خلفية الخبراء "deepgemm" خطأً من نوع NotImplementedError لمقاييس float32. استخدم نقطة تفتيش بـ scale_fmt="ue8m0"، أو خلفيات الخبراء "grouped_mm" أو "batched_mm".
  • لا تدعم واجهات الخبراء "grouped_mm" و"batched_mm" activation_scheme="static" وتُطلق NotImplementedError.
  • يتطلب scale_fmt="ue8m0" إصدار PyTorch 2.7 أو أحدث. تثير الإصدارات الأقدم RuntimeError.

الموارد

Update on GitHub