PEFT documentation
RoAd
RoAd
RoAd هي تقنية لضبط دقيق فعّال من حيث المعاملات، تُكيّف نماذج اللغة الكبيرة من خلال تعلّم مجموعة صغيرة من مصفوفات الدوران 2×2 (ومعاملات قياس اختيارية) تُطبَّق على أزواج من الأبعاد المخفية. تحقق RoAd أداءً تنافسيًا أو متفوقًا مقارنةً بطرق PEFT الأخرى باستخدام أقل من 0.1% من المعاملات القابلة للتدريب. وعلى عكس تحديثات LoRA منخفضة الرتبة المُجمَّعة، تُعاد صياغة الدورانات المتناثرة في RoAd إلى عمليات بسيطة على مستوى العناصر، مما يؤدي إلى زيادة كبيرة في معدل الإنتاجية عند معالجة طلبات غير متجانسة في نفس الدفعة، أي عند تقديم عدة مُكيّفات في وقت واحد. علاوة على ذلك، تتكامل RoAd بسلاسة مع إطار التدخل الموزّع، حيث تُفسَّر دوراناتها ثنائية الأبعاد المتناثرة كتدخلات خاصة بالمهمة ضمن فضاءات فرعية متعلمة من التمثيلات المخفية. يمكن تركيب هذه الفضاءات الفرعية المتعامدة لدمج سلوكيات متعددة خاصة بالمهام—مثل القدرات متعددة اللغات أو اتباع التعليمات—دون الحاجة إلى ضبط دقيق إضافي، مما يتيح تكيّفات معيارية وقابلة للتفسير في نماذج اللغة الكبيرة.
يتطلب الضبط الدقيق باستخدام RoAd عادةً معدل تعلم أعلى مقارنةً بـ LoRA أو الأساليب المماثلة، حوالي 1e-3. حاليًا، يدعم RoAd الطبقات الخطية فقط ويمكن استخدامه على النماذج المُكمّمة باستخدام bitsandbytes (4 بت أو 8 بت).
لتنفيذ الاستدلال مع محولات RoAd مختلفة في نفس الدفعة، راجع الاستدلال مع محولات LoRA مختلفة في نفس الدفعة.
نظرة عامة على الاختبارات
واجهة برمجة التطبيقات
RoadConfig
فئة peft.RoadConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsevariant: Union[str, RoadVariant] = 'road_1'group_size: int = 64init_weights: bool = Truetarget_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = None )
المعاملات
- variant (Union[
RoadVariant,str]) — نوع متغير نموذج Road الذي سيتم استخدامه. يمكن أن يكون road_1 أو road_2 أو road_4. راجع الورقة البحثية لمزيد من التفاصيل.- road_1: يستخدم المقياس والزاوية نفسيهما لجميع أزواج العناصر. يتميز هذا المتغير بأقل عدد من المعاملات، إذ يخزّن عددًا من المعاملات يساوي حجم المخفيّ المخرَج لكل طبقة تُطبَّق عليها RoAd.
- road_2: يستخدم المقياس والزاوية نفسيهما لكل عنصر. يحتوي هذا المتغير على ضعف عدد المعلمات مقارنةً بـ road_1.
- road_4: يستخدم مقياسين وزاويتين مختلفين لكل عنصر. يحتوي هذا المتغير على عدد من المعاملات أكبر بأربع مرات مقارنةً بـ road_1.
- group_size (
int) — يحدد حجم المجموعة كيف يتم تجميع العناصر معًا في متجهات ثنائية الأبعاد للدوران. داخل كل مجموعة، يُقرن العنصر 0 بالعنصر group_size/2، ثم يُقرن العنصر 1 بالعنصر group_size/2+1، وهكذا. لا يؤثر هذا على أداء النموذج، نظرًا لأن العناصر غير مرتبة، لكنه يؤثر بعض الشيء على سرعة الاستدلال عند استخدامه في أنظمة مثل VLLM. للحصول على أفضل سرعة، يُوصى باستخدام حجم مجموعة لا يقل عن 32 أو 64 (القيمة الافتراضية). لاحظ أن حجم النموذج المخفي (أو حجم المخفي لكل قسم عند استخدامه مع توازي الموترات) يجب أن يكون قابلًا للقسمة على group_size، لذا قد تحتاج إلى تقليل هذا المعامل في النماذج الصغيرة جدًا. - init_weights (
bool) — ما إذا كان سيتم تنفيذ تهيئة أوزان RoAd. - target_modules (
Optional[Union[List[str], str]]) — أسماء الوحدات التي سيتم تطبيق المُكيّف عليها. إذا تم تحديد هذا، فسيتم استبدال الوحدات التي تحمل الأسماء المحددة فقط. عند تمرير نص، سيتم إجراء مطابقة باستخدام تعبير نمطي. عند تمرير قائمة من النصوص، سيتم إجراء مطابقة دقيقة أو يتم التحقق مما إذا كان اسم الوحدة ينتهي بأي من النصوص الممررة. إذا تم تحديده على أنه ‘all-linear’، فسيتم اختيار جميع وحدات linear/Conv1D (إذا كان النموذج PreTrainedModel، باستثناء طبقة الإخراج). إذا لم يتم تحديده، فسيتم اختيار الوحدات وفقًا لبنية النموذج. إذا لم تكن البنية معروفة، فسيتم رفع خطأ — في هذه الحالة، يجب عليك تحديد الوحدات المستهدفة يدويًا. - modules_to_save (
List[str]) — قائمة بالوحدات غير طبقات Road التي يجب تعيينها قابلة للتدريب وحفظها في نقطة الفحص النهائية.
هذه فئة الإعدادات لتخزين إعدادات RoadModel. تم اقتراح محوّل RoAd في https://huggingface.co/papers/2409.00119.
RoadModel
فئة peft.RoadModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )