# FourierFT: الضبط الدقيق لتحويل فورييه المنفصل

[FourierFT](https://huggingface.co/papers/2405.03003) هي تقنية لضبط دقيق فعّال من حيث المعاملات تستفيد من تحويل فورييه المنفصل لضغط الأوزان القابلة للضبط في النموذج. تتفوق هذه الطريقة على LoRA في معيار GLUE ومهام تصنيف ViT الشائعة باستخدام عدد أقل بكثير من المعاملات.

تخضع FourierFT حاليًا للقيود التالية:

- يتم دعم طبقات `nn.Linear` فقط.
- لا يتم دعم الطبقات المُكمّاة.

إذا لم تكن هذه القيود مناسبة لحالتك، فكّر في استخدام طرق أخرى بدلاً منها.

## متى تستخدم FourierFT مقابل LoRA

يمثّل LoRA تحديث الأوزان باستخدام مصفوفتين منخفضتي الرتبة. أما FourierFT فيتعلم بدلاً من ذلك معاملات محددة في مجال فورييه، ويستخدم تحويل فورييه المنفصل العكسي لإعادة بناء التحديث.

قد يكون FourierFT مفيدًا عندما يكون تقليل عدد معاملات المُكيّف القابلة للتدريب أو حجم تخزين المُكيّف أولوية. يتحكم إعداد `n_frequency` في عدد المعاملات المتعلمة لكل طبقة مُكيَّفة. تتطلب القيم الأعلى عادةً ذاكرة GPU أكبر وقد تحسّن الدقة، لذا يعتمد الإعداد المناسب على المهمة والنموذج.

تُظهر ورقة FourierFT نتائج مماثلة أو أفضل من LoRA في تجاربها المُقيَّمة لفهم اللغة، وتوليد النص، وضبط التعليمات، وتصنيف الصور، مع عدد أقل من المعاملات القابلة للتدريب في تلك الإعدادات. هذه النتائج خاصة بالمهمة؛ فهي لا تضمن أن يتفوق FourierFT على LoRA في نموذج أو مجموعة بيانات مختلفة.

ملخص الورقة البحثية هو:

> حققت تقنية التكيف منخفض الرتبة (LoRA) اهتمامًا كبيرًا مؤخرًا في ضبط نماذج الأساس. فهي تقلل بفعالية عدد المعاملات القابلة للتدريب من خلال دمج مصفوفات منخفضة الرتبة A و B لتمثيل تغيير الوزن، أي Delta W=BA. وعلى الرغم من التقدم الذي أحرزته LoRA، إلا أنها تواجه تحديات في التخزين عند التعامل مع تكييفات مخصصة واسعة أو نماذج أساسية أكبر. في هذا العمل، نهدف إلى ضغط المعاملات القابلة للتدريب بشكل أكبر بالاستفادة من القدرة التعبيرية القوية لتحويل فورييه. على وجه التحديد، نقدم FourierFT، الذي يعامل Delta W كمصفوفة في المجال المكاني ويتعلم فقط جزءًا صغيرًا من معاملاته الطيفية. وباستخدام المعاملات الطيفية المدربة، ننفذ تحويل فورييه المنفصل العكسي لاستعادة Delta W. تجريبيًا، تُظهر طريقة FourierFT لدينا أداءً مماثلًا أو أفضل بمعايير أقل من LoRA في مهام متنوعة، بما في ذلك فهم اللغة الطبيعية، وتوليد اللغة الطبيعية، وضبط التعليمات، وتصنيف الصور. على سبيل المثال، عند إجراء ضبط التعليمات على نموذج LLaMA2-7B، تتفوق FourierFT على LoRA باستخدام 0.064M فقط من المعاملات القابلة للتدريب، مقارنةً بـ 33.5M في LoRA.

## نظرة عامة على الاختبارات

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=FOURIERFT" frameborder="0" width="850" height="1000"
>

# واجهة برمجة التطبيقات

## FourierFTConfig[[peft.FourierFTConfig]]

#### peft.FourierFTConfig[[peft.FourierFTConfig]]

```python
peft.FourierFTConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, n_frequency: int = 1000, scaling: float = 150.0, random_loc_seed: Optional[int] = 777, fan_in_fan_out: bool = False, target_modules: Optional[Union[list[str], str]] = None, exclude_modules: Optional[Union[list[str], str]] = None, bias: str = 'none', modules_to_save: Optional[list[str]] = None, layers_to_transform: Optional[Union[list[int], int]] = None, layers_pattern: Optional[Union[list[str], str]] = None, n_frequency_pattern: Optional[dict] = <factory>, init_weights: bool = False)
```

[المصدر](https://github.com/huggingface/peft/blob/main/src/peft/tuners/fourierft/config.py#L25)

**المعاملات:**

n_frequency (`int`) : عدد الترددات القابلة للتعلم لتحويل فورييه المنفصل. 'n_frequency' هو عدد صحيح أكبر من 0 وأصغر من أو يساوي d^2 (بافتراض أن الوزن W له أبعاد d × d). بالإضافة إلى ذلك، فهو يمثل عدد المعلمات القابلة للتدريب المطلوبة لتحديث كل وزن delta W. سيؤثر 'n_frequency' على الأداء والكفاءة في PEFT. على وجه التحديد، له تأثير ضئيل على سرعة التدريب، لكن القيم الأعلى له (عادةً) تؤدي إلى تكاليف أكبر لذاكرة GPU ودقة أفضل. مع نفس `target_modules`، يكون عدد معلمات LoRA مساوياً لعدد معلمات FourierFT مضروباً في (2*d*r/n_frequency). يمكن استخدام الأمثلة التالية للإعدادات المتعلقة بـ 'n_frequency' كمرجع للمستخدمين. لمهام NLU باستخدام نموذج RoBERTa-large، فإن اعتماد 'n_frequency': 1000 يمكن أن يحقق نتائج مشابهة تقريباً لـ 'r': 8 في LoRA. في هذه الحالة، يكون عدد معلمات LoRA حوالي 16 مرة أكبر من عدد معلمات FourierFT. لمهام تصنيف الصور باستخدام نماذج Vit-large، فإن اعتماد 'n_frequency': 3000 يمكن أن يحقق نتائج مشابهة تقريباً لـ 'r': 16 في LoRA، حيث يكون عدد معلمات LoRA حوالي 11 مرة أكبر من عدد معلمات FourierFT.

scaling (`float`) : قيمة التوسيع لمصفوفة دلتا W. هذا معامل فائق مهم يُستخدم للتوسيع، مشابهًا للمعامل 'lora_alpha' في طريقة LoRA. يمكن تحديد 'scaling' أثناء عملية البحث عن المعاملات الفائقة. ومع ذلك، إذا أراد المستخدمون تخطي هذه العملية، يمكن الرجوع إلى الإعدادات في السيناريوهات التالية. يمكن ضبط هذا المعامل على 100.0 أو 150.0 لكل من نموذجي RoBERTa-base وRoBERTa-large عبر جميع مهام NLU (GLUE). يمكن ضبط هذا المعامل على 300.0 لكل من نماذج عائلة LLaMA لجميع عمليات الضبط التعليمي. يمكن ضبط هذا المعامل على 300.0 لكل من نموذجي ViT-base وViT-large عبر جميع مهام تصنيف الصور.

random_loc_seed (`int`) : البذرة (Seed) للموقع العشوائي للترددات، أي مصفوفة الإدخال الطيفي.

target_modules (`Union[list[str],str]`) : قائمة بأسماء الوحدات أو تعبير نمطي (regex) لأسماء الوحدات التي سيتم استبدالها بـ FourierFT. على سبيل المثال، ['q', 'v'] أو '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'. يتم دعم الطبقات الخطية فقط.

exclude_modules (`Optional[Union[List[str], str]]`) : أسماء الوحدات التي لا يُطبَّق عليها المُكيّف. عند تمرير نص، يتم إجراء مطابقة باستخدام تعبير نمطي. عند تمرير قائمة من النصوص، يتم إما إجراء مطابقة دقيقة أو التحقق مما إذا كان اسم الوحدة ينتهي بأي من النصوص المُمرَّرة.

fan_in_fan_out (`bool`) : اضبط هذا على True إذا كانت الطبقة التي سيتم استبدالها تخزن الأوزان على شكل (fan_in, fan_out).

bias (`str`) : نوع الانحياز (Bias) في FourierFT. يمكن أن يكون 'none' أو 'all' أو 'fourier_only'.

modules_to_save (`list[str]`) : قائمة بالوحدات غير طبقات FourierFT التي يجب ضبطها لتكون قابلة للتدريب وحفظها في نقطة الفحص النهائية. على سبيل المثال، في مهام تصنيف التسلسل أو تصنيف الرموز، تكون الطبقة النهائية `classifier/score` مهيأة بشكل عشوائي، وبالتالي تحتاج إلى أن تكون قابلة للتدريب وحفظها.

layers_to_transform (`Union[list[int],int]`) : فهارس الطبقات التي سيتم تحويلها، إذا تم تحديد هذا الحُجج، فسيقوم PEFT بتحويل فهارس الطبقات المحددة داخل هذه القائمة فقط. إذا تم تمرير عدد صحيح واحد، فسيقوم PEFT بتحويل الطبقة الموجودة عند هذا الفهرس فقط.

layers_pattern (`Optional[Union[List[str], str]]`) : اسم نمط الطبقة، يُستخدم فقط إذا كان `layers_to_transform` مختلفًا عن None وإذا لم يكن نمط الطبقة ضمن أنماط الطبقات الشائعة. يجب أن يستهدف هذا `nn.ModuleList` الخاص بالنموذج، والذي يُسمى غالبًا `'layers'` أو `'h'`.

n_frequency_pattern (`dict`) : إسناد من أسماء الطبقات أو تعبيرات نمطية منتظمة إلى n_frequency التي تختلف عن الافتراضي المحدد. على سبيل المثال، `{model.decoder.layers.0.encoder_attn.k_proj: 1000`}.

init_weights (`bool`) : تهيئة أوزاء فورييه. اضبط هذا على False (الافتراضي) إذا كانت الطيف مُهيّأة إلى توزيع طبيعي قياسي. اضبط هذا على True إذا كانت الطيف مُهيّأة إلى أصفار.

هذه هي فئة الإعدادات لتخزين إعدادات [FourierFTModel](/docs/peft/main/ar/package_reference/fourierft#peft.FourierFTModel).

## FourierFTModel[[peft.FourierFTModel]]

#### peft.FourierFTModel[[peft.FourierFTModel]]

```python
peft.FourierFTModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[المصدر](https://github.com/huggingface/peft/blob/main/src/peft/tuners/fourierft/model.py#L31)

**المعاملات:**

model (`torch.nn.Module`) : النموذج الذي سيتم تكييفه.

config ([FourierFTConfig](/docs/peft/main/ar/package_reference/fourierft#peft.FourierFTConfig)) : إعدادات نموذج FourierFT.

adapter_name (`str`) : اسم المُكيِّف، القيمة الافتراضية هي `"default"`.

low_cpu_mem_usage (`bool`، `optional`، القيمة الافتراضية `False`) : إنشاء أوزان مكيّف فارغة على جهاز meta. مفيد لتسريع عملية التحميل.

**يعيد:** `torch.nn.Module`

نموذج FourierFT.

ينشئ نموذج FourierFT من نموذج transformers مُدرَّب مسبقًا.

يُوصف هذا الأسلوب بالتفصيل في https://huggingface.co/papers/2405.03003.

**الخصائص**:
- **النموذج** ([PreTrainedModel](https://huggingface.co/docs/transformers/main/en/main_classes/model#transformers.PreTrainedModel)) -- النموذج الذي سيتم تكييفه.
- **peft_config** ([FourierFTConfig](/docs/peft/main/ar/package_reference/fourierft#peft.FourierFTConfig)): إعدادات نموذج Fourier.

