PEFT documentation
FourierFT: الضبط الدقيق لتحويل فورييه المنفصل
FourierFT: الضبط الدقيق لتحويل فورييه المنفصل
FourierFT هي تقنية لضبط دقيق فعّال من حيث المعاملات تستفيد من تحويل فورييه المنفصل لضغط أوزان النموذج القابلة للضبط. تتفوق هذه الطريقة على LoRA في معيار GLUE ومهام تصنيف ViT الشائعة باستخدام عدد أقل بكثير من المعاملات.
تخضع FourierFT حاليًا للقيود التالية:
- يتم دعم طبقات
nn.Linearفقط. - لا يتم دعم الطبقات المُكمّاة.
إذا لم تكن هذه القيود مناسبة لحالتك، فكّر في استخدام طرق أخرى بدلاً منها.
متى تستخدم FourierFT مقابل LoRA
يمثّل LoRA تحديث الأوزان باستخدام مصفوفتين منخفضتي الرتبة. أما FourierFT فيتعلم بدلاً من ذلك معاملات محددة في مجال فورييه، ويستخدم تحويل فورييه المنفصل العكسي لإعادة بناء التحديث.
قد يكون FourierFT مفيدًا عندما يكون تقليل عدد معاملات المُكيّف القابلة للتدريب أو حجم تخزين المُكيّف أولوية. يتحكم إعداد n_frequency في عدد المعاملات المتعلمة لكل طبقة مُكيَّفة. تتطلب القيم الأعلى عادةً ذاكرة GPU أكبر وقد تحسّن الدقة، لذا يعتمد الإعداد المناسب على المهمة والنموذج.
تُظهر ورقة FourierFT نتائج مماثلة أو أفضل من LoRA في تجاربها المُقيَّمة لفهم اللغة، وتوليد النص، وضبط التعليمات، وتصنيف الصور، مع عدد أقل من المعاملات القابلة للتدريب في تلك الإعدادات. هذه النتائج خاصة بالمهمة؛ فهي لا تضمن أن يتفوق FourierFT على LoRA في نموذج أو مجموعة بيانات مختلفة.
ملخص الورقة البحثية هو:
حققت تقنية التكيف منخفض الرتبة (LoRA) اهتمامًا كبيرًا مؤخرًا في ضبط نماذج الأساس. فهي تقلل بفعالية عدد المعاملات القابلة للتدريب من خلال دمج مصفوفات منخفضة الرتبة A و B لتمثيل تغيير الوزن، أي Delta W=BA. وعلى الرغم من التقدم الذي أحرزته LoRA، إلا أنها تواجه تحديات في التخزين عند التعامل مع تكييفات مخصصة واسعة أو نماذج أساسية أكبر. في هذا العمل، نهدف إلى ضغط المعاملات القابلة للتدريب بشكل أكبر بالاستفادة من القدرة التعبيرية القوية لتحويل فورييه. على وجه التحديد، نقدم FourierFT، الذي يعامل Delta W كمصفوفة في المجال المكاني ويتعلم فقط جزءًا صغيرًا من معاملاته الطيفية. وباستخدام المعاملات الطيفية المدربة، ننفذ تحويل فورييه المنفصل العكسي لاستعادة Delta W. تجريبيًا، تُظهر طريقة FourierFT لدينا أداءً مماثلًا أو أفضل بمعايير أقل من LoRA في مهام متنوعة، بما في ذلك فهم اللغة الطبيعية، وتوليد اللغة الطبيعية، وضبط التعليمات، وتصنيف الصور. على سبيل المثال، عند إجراء ضبط التعليمات على نموذج LLaMA2-7B، تتفوق FourierFT على LoRA باستخدام 0.064M فقط من المعاملات القابلة للتدريب، مقارنةً بـ 33.5M في LoRA.
نظرة عامة على الاختبارات
واجهة برمجة التطبيقات
FourierFTConfig
فئة peft.FourierFTConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsen_frequency: int = 1000scaling: float = 150.0random_loc_seed: Optional[int] = 777fan_in_fan_out: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonen_frequency_pattern: Optional[dict] = <factory>init_weights: bool = False )
المعاملات
- n_frequency (
int) — عدد الترددات القابلة للتعلم لتحويل فورييه المنفصل. ‘n_frequency’ هو عدد صحيح أكبر من 0 وأصغر من أو يساوي d^2 (بافتراض أن الأوزان W لها أبعاد d × d). بالإضافة إلى ذلك، فهو يمثل عدد المعلمات القابلة للتدريب المطلوبة لتحديث كل وزن delta W. سيؤثر ‘n_frequency’ على الأداء والكفاءة في PEFT. على وجه التحديد، له تأثير ضئيل على سرعة التدريب، لكن القيم الأعلى له (عادةً) تؤدي إلى تكاليف أكبر لذاكرة GPU ودقة أفضل. مع نفسtarget_modules، يكون عدد معلمات LoRA مساوياً لـ (2dr/n_frequency) من عدد معلمات FourierFT. يمكن استخدام الأمثلة التالية للإعدادات المتعلقة بـ ‘n_frequency’ كمرجع للمستخدمين. لمهام NLU باستخدام نموذج RoBERTa-large، فإن اعتماد ‘n_frequency’: 1000 يحقق نتائج مشابهة تقريباً لنتائج ‘r’: 8 في LoRA. في هذه الحالة، يكون عدد معلمات LoRA حوالي 16 ضعف عدد معلمات FourierFT. لمهام تصنيف الصور باستخدام نماذج Vit-large، فإن اعتماد ‘n_frequency’: 3000 يحقق نتائج مشابهة تقريباً لنتائج ‘r’: 16 في LoRA، حيث يكون عدد معلمات LoRA حوالي 11 ضعف عدد معلمات FourierFT. - scaling (
float) — قيمة التوسيع لمصفوفة دلتا W. هذا معامل فائق مهم يُستخدم للتوسيع، مشابهًا للمعامل ‘lora_alpha’ في طريقة LoRA. يمكن تحديد ‘scaling’ خلال عملية البحث عن المعاملات الفائقة. ومع ذلك، إذا أراد المستخدمون تخطي هذه العملية، يمكن الرجوع إلى الإعدادات في السيناريوهات التالية. يمكن ضبط هذا المعامل على 100.0 أو 150.0 لكل من نموذجي RoBERTa-base و RoBERTa-large عبر جميع مهام NLU (GLUE). يمكن ضبط هذا المعامل على 300.0 لكل من نماذج عائلة LLaMA لجميع عمليات الضبط التعليمي. يمكن ضبط هذا المعامل على 300.0 لكل من نموذجي ViT-base و ViT-large عبر جميع مهام تصنيف الصور. - random_loc_seed (
int) — البذرة (Seed) للموقع العشوائي للترددات، أي مصفوفة الإدخال الطيفي. - target_modules (
Union[list[str],str]) — قائمة بأسماء الوحدات أو تعبير نمطي (regex) لأسماء الوحدات التي سيتم استبدالها بـ FourierFT. على سبيل المثال، [‘q’, ‘v’] أو ‘.decoder.(SelfAttention|EncDecAttention).*(q|v)$‘. يتم دعم الطبقات الخطية فقط. - exclude_modules (
Optional[Union[List[str], str]]) — أسماء الوحدات التي لا يُطبَّق عليها المُكيّف. عند تمرير نص، يتم إجراء مطابقة باستخدام تعبير نمطي. عند تمرير قائمة من النصوص، يتم إجراء مطابقة دقيقة أو يُتحقق مما إذا كان اسم الوحدة ينتهي بأي من النصوص المُمرَّرة. - fan_in_fan_out (
bool) — اضبط هذا على True إذا كانت الطبقة التي سيتم استبدالها تخزن الأوزان على شكل (fan_in, fan_out). - bias (
str) — نوع الانحياز في FourierFT. يمكن أن يكون ‘none’ أو ‘all’ أو ‘fourier_only’. - modules_to_save (
list[str]) — قائمة بالوحدات، بخلاف طبقات FourierFT، التي يجب تعيينها كقابلة للتدريب وحفظها في نقطة الفحص النهائية. على سبيل المثال، في مهام تصنيف التسلسل أو تصنيف الرموز، تكون الطبقة النهائيةclassifier/scoreمهيأة عشوائياً، وبالتالي تحتاج إلى أن تكون قابلة للتدريب ومحفوظة. - layers_to_transform (
Union[list[int],int]) — مؤشرات الطبقات المراد تحويلها، إذا تم تحديد هذا الحُجج، فإن PEFT ستقوم بتحويل مؤشرات الطبقات المحددة داخل هذه القائمة فقط. إذا تم تمرير عدد صحيح واحد، فإن PEFT ستقوم بتحويل الطبقة الموجودة عند هذا المؤشر فقط. - layers_pattern (
Optional[Union[List[str], str]]) — اسم نمط الطبقة، يُستخدم فقط إذا كانlayers_to_transformمختلفاً عن None وإذا لم يكن نمط الطبقة ضمن أنماط الطبقات الشائعة. يجب أن يستهدف هذاnn.ModuleListالخاص بالنموذج، والذي يُسمى غالباً'layers'أو'h'. - n_frequency_pattern (
dict) — التعيين من أسماء الطبقات أو تعبيرات النمط المنتظم إلى n_frequency التي تختلف عن الافتراضي المحدد. على سبيل المثال،{model.decoder.layers.0.encoder_attn.k_proj: 1000}. - init_weights (
bool) — تهيئة أوزاء فورييه. اضبط هذا على False (الافتراضي) إذا كانت الطيف مُهيّأة إلى توزيع طبيعي قياسي. اضبط هذا على True إذا كانت الطيف مُهيّأة إلى أصفار.
هذه هي فئة الإعدادات لتخزين إعدادات FourierFTModel.
FourierFTModel
فئة peft.FourierFTModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
المعاملات
- model (
torch.nn.Module) — النموذج الذي سيتم تكييفه. - config (FourierFTConfig) — إعدادات نموذج FourierFT.
- adapter_name (
str) — اسم المُكيّف، القيمة الافتراضية هي"default". - low_cpu_mem_usage (
bool,optional, defaults toFalse) — إنشاء أوزان مُكيّف فارغة على جهاز meta. مفيد لتسريع عملية التحميل.
يعيد
torch.nn.Module
نموذج FourierFT.
ينشئ نموذج FourierFT من نموذج transformers مُدرَّب مسبقًا.
يُوصف هذا الأسلوب بالتفصيل في https://huggingface.co/papers/2405.03003.
الخصائص:
- model (PreTrainedModel) — النموذج الذي سيتم تكييفه.
- peft_config (FourierFTConfig): إعدادات نموذج Fourier.