# BEFT: الضبط الدقيق الموفّر للانحياز لنماذج اللغة في سيناريوهات البيانات المنخفضة

[BEFT](https://arxiv.org/abs/2509.15974) هو خوارزمية لضبط دقيق فعّال من حيث المعاملات (PEFT) تقوم بضبط دقيق لمصطلحات الانحياز المضافة في إسقاطات القيمة فقط من نماذج الترانسفورمر المُسبقة التدريب. تُظهر BEFT أن ضبط دقيق لمصطلحات الانحياز المضافة في إسقاطات القيمة من الترانسفورمرات المُسبقة التدريب يؤدي بشكل عام إلى أداء أعلى في المهام اللاحقة في بيئات البيانات المنخفضة مقارنةً بضبط دقيق لمصطلحات الانحياز المضافة في إسقاطات الاستعلام/المفتاح.

تتميز BEFT حاليًا بالتنازلات التالية:

المزايا:
- يتطلب BEFT عددًا أقل بكثير من المعاملات مقارنةً بـ LoRA، مع الحفاظ على أداء تنافسي أو متفوق عبر المهام في سيناريوهات البيانات المنخفضة.

العيوب:
- في الأنظمة التي تعتمد على كميات كبيرة من البيانات، قد تُظهر BEFT فعالية محدودة مقارنةً بـ LoRA والتدريب الدقيق الكامل للمعاملات.

إذا كان استخدامك ينتمي إلى نطاق البيانات العالية، ففكر في استخدام طرق PEFT أخرى مثل LoRA.

ملخص الورقة البحثية هو:

*يُعدّ ضبط مصطلحات الانحياز (bias terms) في نماذج اللغة الكبيرة (LLMs) ذا إمكانات لتحقيق كفاءة بارامترات غير مسبوقة مع الحفاظ على أداء تنافسي، لا سيما في بيئات البيانات المنخفضة. ومع ذلك، يبقى الربط بين ضبط مصطلحات الانحياز المختلفة (أي **b**q و**b**k و**b**v في إسقاطات الاستعلام والمفتاح والقيمة) والأداء في المهام اللاحقة غير واضح إلى حد كبير حتى الآن. في هذه الورقة، ندرس العلاقة بين ضبط **b**q و**b**k و**b**v وأداء المهمة اللاحقة. إن أهم نتيجة توصلنا إليها هي أن ضبط **b**v مباشرة يؤدي بشكل عام إلى أداء أعلى في المهام اللاحقة في بيئات البيانات المنخفضة، مقارنةً بـ **b**q و**b**k. لقد قيّمنا هذه الخاصية الفريدة على نطاق واسع عبر مجموعة واسعة من نماذج اللغة الكبيرة التي تمتد من البنى الحصرية للمشفّر إلى البنى الحصرية لفك التشفير وصولاً إلى 6.7 مليار بارامتر (بما في ذلك نماذج اللغة الكبيرة الخالية من الانحياز). توفر نتائجنا أدلة قوية على فعالية ضبط **b**v مباشرة عبر مختلف المهام اللاحقة*.

## نظرة عامة على الاختبارات

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=BEFT" frameborder="0" width="850" height="1000"
>

# واجهة برمجة التطبيقات

## BeftConfig[[peft.BeftConfig]]

#### peft.BeftConfig[[peft.BeftConfig]]

```python
peft.BeftConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, target_modules: Optional[Union[list[str], str]] = None, modules_to_save: Optional[list[str]] = None, init_weights: bool = True)
```

[المصدر](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/beft/config.py#L25)

**المعاملات:**

target_modules (`Optional[Union[List[str], str]]`) : أسماء الوحدات التي سيتم تطبيق المُكيّف عليها. إذا تم تحديد هذا، فسيتم استبدال الوحدات التي تحمل الأسماء المحددة فقط. عند تمرير نص، سيتم إجراء مطابقة باستخدام تعبير نمطي. عند تمرير قائمة من النصوص، سيتم إجراء مطابقة دقيقة أو يتم التحقق مما إذا كان اسم الوحدة ينتهي بأي من النصوص الممررة. إذا لم يتم تحديد هذا، فسيتم اختيار الوحدات وفقًا لبنية النموذج. إذا لم تكن البنية معروفة، فسيتم رفع خطأ -- في هذه الحالة، يجب عليك تحديد الوحدات المستهدفة يدويًا.

modules_to_save (`Optional[List[str]]`) : قائمة الوحدات التي يجب ضبطها لتكون قابلة للتدريب وحفظها في نقطة الفحص النهائية، باستثناء طبقات BEFT.

init_weights (`bool`) : ما إذا كان سيتم تهيئة المتجهات في طبقات BEFT، الافتراضي هو `True`. يُنصح بعدم تعيين هذا إلى `False`.

هذه هي فئة الإعدادات لتخزين إعدادات [BeftModel](/docs/peft/v0.22.0/ar/package_reference/beft#peft.BeftModel).

## BeftModel[[peft.BeftModel]]

#### peft.BeftModel[[peft.BeftModel]]

```python
peft.BeftModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[المصدر](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/beft/model.py#L26)

**المعاملات:**

model ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) : النموذج الذي سيتم تكييفه.

config ([BeftConfig](/docs/peft/v0.22.0/ar/package_reference/beft#peft.BeftConfig)) : إعدادات نموذج (BEFT).

adapter_name (`str`) : اسم المُكيِّف، القيمة الافتراضية هي `"default"`.

low_cpu_mem_usage (`bool`، `optional`، القيمة الافتراضية `False`) : إنشاء أوزان مكيّف فارغة على جهاز meta. مفيد لتسريع عملية التحميل.

**يعيد:** `torch.nn.Module`

The نموذج (BEFT).

ينشئ مُكيّفًا مُدمجًا (Infused Adapter) من خلال ضبط دقيق لمصطلحات الانحياز المضافة في إسقاطات القيمة فقط، انطلاقًا من نموذج transformers مُدرَّب مسبقًا، وذلك في سيناريوهات بيانات التدريب المنخفضة (BEFT). تم وصف الطريقة بالتفصيل في https://arxiv.org/abs/2509.15974

مثال:

```py
>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import BeftConfig, get_peft_model

>>> config = BeftConfig(
...     task_type="SEQ_2_SEQ_LM",
...     target_modules=["v"],
... )

>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> beft_model = get_peft_model(model, config)
```

**الخصائص**:
- **النموذج** ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) -- النموذج الذي سيتم تكييفه.
- **peft_config** ([BeftConfig](/docs/peft/v0.22.0/ar/package_reference/beft#peft.BeftConfig)): إعدادات نموذج (BEFT).

