PEFT documentation
تحويل LoRA
تحويل LoRA
دوال تتيح تحويل نماذج PEFT غير LoRA إلى نماذج LoRA.
الوصف
يدعم PEFT عشرات تقنيات الضبط الدقيق الفعّال من حيث المعاملات المختلفة. الأكثر شيوعاً على الإطلاق هو LoRA. وهذا يعني أن العديد من الحزم الأخرى تدعم LoRA أيضاً. على سبيل المثال، يتيح Diffusers تحميل محولات LoRA لتغيير قدرات نماذج الانتشار. ويتيح vLLM تقديم النماذج مع محولات LoRA. وهذا أمر جيد، لكن للأسف، نادراً ما يتم دعم جميع طرق PEFT الأخرى غير LoRA. وبالتالي، حتى لو كانت طريقة PEFT أخرى تعمل بشكل أفضل لحالتك الخاصة، فقد يُمنعك من استخدامها لأن الحزم اللاحقة لا تقدم دعماً لها.
نقدّم هنا حلاً محتملاً. يوفر PEFT دالتين، save_as_lora() و convert_to_lora()، تتيحان تحويل مُكيّف PEFT إلى مُكيّف LoRA. لا تدعم جميع طرق PEFT هذه الميزة حالياً، ولكن إذا كانت الطريقة مدعومة، فهذا يعني أنه يمكنك البدء بالطريقة التي تناسبك بشكل أفضل من طرق PEFT، ثم استخدامها لاحقاً وكأنها مُكيّف LoRA.
مثال
يمكن ضبط رتبة LoRA للمحوّل المُحوَّل إما إلى رتبة ثابتة عن طريق تمرير قيمة صحيحة > 0 إلى معامل rank، أو إلى رتبة ديناميكية تتكيف مع كل طبقة، عن طريق تمرير قيمة عشرية بين 0 و 1 إلى معامل rank. قد تكون الرتب الديناميكية أكثر كفاءة (أداء مماثل بعدد أقل من المعاملات).
رتبة LoRA الثابتة
استخدام save_as_lora() مباشر إلى حد كبير:
from peft import get_peft_model, save_as_lora
# first load and train your non-LoRA PEFT model as normal
base_model = ...
non_lora_config = ...
model = get_peft_model(base_model, non_lora_config)
# check that this PEFT method can indeed be converted to LoRA
assert model.supports_lora_conversion()
... # train the model
# the rank of the LoRA adapter that you want to convert to
target_rank = 64
# save as a LoRA checkpoint
save_as_lora(output_path, model, rank=target_rank)سيؤدي هذا إلى إنشاء نقطة تحقق LoRA في output_path يمكنك تحميلها مثل أي مُكيّف LoRA آخر، أو استخدامها في الحزم التالية مثل Diffusers أو vLLM.
تُعدّ الدالة convert_to_lora() مفيدة إذا كنت لا ترغب في حفظ مُكيّف LoRA المُحوَّل، بل تريد استخدام الأوزان المُحوَّلة مباشرةً، على سبيل المثال لإجراء التقييمات:
from peft import convert_to_lora, get_peft_model, set_peft_model_state_dict
base_model = ...
non_lora_config = ...
model = get_peft_model(base_model, non_lora_config)
... # train the model
# get the lora config and state dict of the converted lora model
lora_config, lora_state_dict = convert_to_lora(model, rank=target_rank)
# reload the base model, or use model.unload()
base_model = ...
# apply the lora config to the base model
lora_model = get_peft_model(base_model, lora_config)
# load the LoRA weights onto the base model
set_peft_model_state_dict(lora_model, state_dict)رتبة LoRA الديناميكية
في الأمثلة أعلاه، استخدمنا رتبة LoRA ثابتة للتحويل. ومع ذلك، من الممكن أن بعض الطبقات لا تتطلب رتبة عالية لتحويلها بدقة، بينما تتطلب طبقات أخرى رتبة أعلى. لاستيعاب ذلك، يوفر PEFT خيار تمرير قيمة عشرية بين 0 و 1 كحجة rank. لنفترض أنك تمرر rank=0.5. هذا يعني أنه بالنسبة لكل طبقة، يتم اختيار رتبة محوّل LoRA بحيث يفسر محوّل LoRA 50% من التباين في الأوزان الذي أدخله المحوّل الأصلي. بصياغة تقنية أكثر، تحت الغطاء، نقوم بإجراء تحليل القيمة المفردة على مساهمة الأوزان للمحوّل، ثم نأخذ أعلى القيم المفردة التي، عند تطبيعها، تجمّعه إلى القيمة الممررة.
# set a dynamic rank by passing a float
threshold = 0.7
# save as a LoRA checkpoint
save_as_lora(output_path, model, rank=threshold)
# get the lora config and state dict directly:
lora_config, lora_state_dict = convert_to_lora(model, rank=threshold)
# inspect the different ranks per layer:
print(lora_config.rank_pattern)يمكن أن يكون استخدام هذا النوع من رتبة LoRA الديناميكية مفيدًا إذا كانت مساهمة الطبقات المختلفة متباينة إلى حد كبير. العيب هو أنه قد يعني أن بعض الطبقات ستتمتع برتبة LoRA عالية جدًا، مما قد يؤدي إلى ذروات في استهلاك الذاكرة. يُرجى اختبار ما يناسب حالتك الاستخدامية بشكل أفضل.
تجميع النموذج
بالنسبة للنماذج الكبيرة، قد يستغرق إجراء التحويل بعض الوقت؛ فمثلًا، يجب أن يخضع كل وحدة PEFT لحساب SVD. عن طريق تمرير compile_kwargs إلى save_as_lora() أو convert_to_lora()، يمكنك تطبيق torch.compile على دالة التحويل وتسريع العملية بشكل محتمل. compile_kwargs هي قاموس من معاملات الكلمات المفتاحية التي يتم تمريرها إلى torch.compile (يعمل القاموس الفارغ أيضًا). فيما يلي مثال:
compile_kwargs = {"dynamic": True, "mode": "max-autotune-no-cudagraphs", "fullgraph": True}
save_as_lora(output_path, model, rank=rank, compile_kwargs=compile_kwargs)التحويل من LoRA إلى LoRA
من الممكن أيضًا تحويل مُكيّف LoRA إلى مُكيّف LoRA آخر. لماذا قد ترغب في القيام بذلك؟ هناك سبب واحد، وهو إذا كنت ترغب في تقليل رتبة مُكيّف LoRA. إذا كنت تريد، بعد التدريب، تصغير مُكيّف LoRA، فاستخدم save_as_lora() أو convert_to_lora() وقم بتمرير رتبة أصغر. سيمنحك هذا مُكيّف LoRA جديدًا له بصمة ذاكرة وتخزين أصغر.
المقاييس
التحويل من غير LoRA إلى LoRA
بالتأكيد، تحويل مُكيّف PEFT إلى مُكيّف آخر هو عملية تفقدية. من المرجح أن المُكيّف الجديد لن يؤدي بنفس جودة المُكيّف الأولي. لذلك، يُنصح بشدة بـ تقييم مُكيّف LoRA المحوّل. بهذه الطريقة، يمكنك التأكد من أن المُكيّف المحوّل يؤدي أداءً كافياً لحالتك الاستخدامية. تنطبق القاعدة العامة بأن كلما ارتفع رتبة مُكيّف LoRA، كان تقريبه لمُكيّفك الأولي أفضل. وهذا يعني أن مُكيّف LoRA المحوّل قد يتطلب عددًا أكبر من المعاملات من المُكيّف الأصلي لتحقيق أداء مماثل.
لإعطاء مثال، فيما يلي بعض الأرقام التي تم اشتقاقها على مقياس PEFT MetaMathQA. لهذا الغرض، تم استخدام مُكيّف LoHa لضبط meta-llama/Llama-3.2-3B على MetaMathQA وتقييمه على GSM8K. كان للمُكيّف LoKr الأولي رتبة 32، مما أدى إلى 18,350,080 من المعاملات القابلة للتدريب ودقة اختبار بلغت 41.85%. تطلب التقييم 12.25 جيجابايت من الذاكرة. تم تحويل نقطة التفتيش إلى LoRA بقيم مختلفة لـ rank. النتيجة الناتجة هي:
| الترتيب | المعاملات القابلة للتدريب | دقة الاختبار (%) | تغير الدقة | الذاكرة المحجوزة (الحد الأقصى، غيغابايت) | زيادة في الذاكرة |
|---|---|---|---|---|---|
| 8 | 2293760 | 37.60 | -4.25 | 12.41 | 0.16 |
| 16 | 4587520 | 38.89 | -2.96 | 12.15 | -0.10 |
| 32 | 9175040 | 40.11 | -1.74 | 12.41 | 0.16 |
| 64 | 18350080 | 39.20 | -2.65 | 12.18 | -0.07 |
| 0.4 | 2428928 | 37.60 | -4.25 | 12.41 | 0.16 |
| 0.5 | 4761600 | 40.18 | -1.67 | 12.41 | 0.16 |
| 0.6 | 8857600 | 39.42 | -2.43 | 12.41 | 0.16 |
| 0.7 | 16230400 | 39.04 | -2.81 | 12.15 | -0.10 |
كما ترون، يمكننا تحقيق دقة اختبار تقترب من دقة مُكيّف LoHa الأصلي إذا كان الرتبة (rank) مرتفعًا بما يكفي. إن اختيار الرتبة المناسبة هو موازنة بين أداء النموذج وكفاءته. لإعادة إنتاج هذا التجربة، اتبع السكربت الموجود في https://github.com/huggingface/peft/tree/main/scripts/evaluate-lora-conversion.py.
لاحظ أن عدد المعاملات القابلة للتدريب لا يمكن ترجمته بشكل مباشر إلى استهلاك الذاكرة. تتطلب بعض طرق PEFT ذاكرة أكثر، وبعضها أقل، حتى مع وجود نفس عدد المعاملات القابلة للتدريب. لذلك، حتى إذا كان مُكيّف LoRA بعد التحويل يحتوي على عدد أكبر من المعاملات مقارنة بالأصلي، فقد يكون أكثر كفاءة في استخدام الذاكرة عند تقديم الخدمة.
التحويل من LoRA إلى LoRA
بشكل مشابه للتجربة أعلاه، يمكننا أيضًا تقييم تحويل LoRA إلى LoRA (أي ضغط LoRA). هنا، نبدأ بمحوّل LoRA من الرتبة 64 تم تدريبه على نفس الإعداد أعلاه باستخدام RS-LoRA. يحتوي المحوّل الأولي على 18,350,080 من المعاملات القابلة للتدريب، ودقة اختبار تبلغ 52.92٪، ويتطلب 12.58 جيجابايت من الذاكرة للتقييم. تُظهر الجدول التالي نتائج تحويل هذا المحوّل إلى محوّلات LoRA من رتب أصغر:
| الترتيب | المعاملات القابلة للتدريب | دقة الاختبار (%) | تغير الدقة | الذاكرة المحجوزة (الحد الأقصى، غيغابايت) | زيادة في الذاكرة |
|---|---|---|---|---|---|
| 8 | 2293760 | 43.37 | -9.55 | 12.38 | -0.20 |
| 16 | 4587520 | 48.90 | -4.02 | 12.38 | -0.20 |
| 32 | 9175040 | 51.48 | -1.44 | 12.49 | -0.09 |
| 48 | 13762560 | 52.01 | -0.91 | 12.38 | -0.20 |
| 0.5 | 2150400 | 44.12 | -8.80 | 12.37 | -0.21 |
| 0.6 | 3082240 | 47.54 | -5.38 | 12.37 | -0.21 |
| 0.7 | 4448256 | 50.49 | -2.43 | 12.37 | -0.21 |
| 0.8 | 6510592 | 50.11 | -2.81 | 12.37 | -0.21 |
| 0.9 | 10022912 | 51.55 | -1.37 | 12.38 | -0.20 |
| 0.95 | 12976128 | 52.62 | -0.30 | 12.39 | -0.19 |
فمثلاً، بالنسبة للرتبة 0.95، يمكننا تقليص فجوة الدقة إلى 0.3 نقطة مئوية فقط مع تقليل عدد المعاملات بنسبة 30%. لاحظ أيضاً أن هذه نماذج LoRA المضغوطة قد تكون أفضل من تدريبها مباشرة على الرتبة الأدنى — على سبيل المثال، بالنسبة للرتبة 32، يؤدي التدريب المباشر إلى دقة اختبار تبلغ 48.22%، بينما يؤدي التحويل من الرتبة 64 إلى 51.48%.
ملاحظات
توجد بعض القيود على تحويل LoRA. وكما ذُكر أعلاه، يُتوقع حدوث انخفاض في الأداء، ومن المرجح أن يكون LoRA المحوّل أقل كفاءة من حيث المعاملات مقارنةً بالمُكيّف الأصلي. علاوة على ذلك، يخضع تحويل LoRA للقيود التالية:
- حالياً، يمكن تحويل المحوِّلات المطبَّقة على الطبقات الخطية فقط.
- لا تدعم جميع طرق PEFT حاليًا التحويل إلى LoRA.
إذا كان هناك طلب كبير على توسيع تحويل LoRA، فيرجى إعلامنا من خلال إنشاء مناقشة على GitHub وسنعمل على جعله متوافقًا مع المزيد من أنواع الطبقات وطرق PEFT.
واجهة برمجة التطبيقات
تحويل نموذج غير LoRA إلى نموذج LoRA، وإرجاع LoraConfig وstate_dict
peft.convert_to_lora
< source >( model: Modulerank: floatadapter_name: str = 'default'progressbar: bool = Falsecompile_kwargs = None )
المعاملات
- model — النموذج المراد تحويله. يجب أن يكون نموذجًا يحتوي على طبقات PEFT تدعم التحويل.
- rank (
intأوfloat) — الرتبة المطلوبة لمحوّل LoRA المُعاد. تؤدي الرتبة الأعلى إلى محوّل LoRA يعكس المحوّل الأصلي بدقة أكبر. ومع ذلك، سيتطلب ذلك أيضًا ذاكرة وحسابات ومساحة تخزين أكبر. لذلك، اختر قيمة تمثل أفضل توازن لحالتك الاستخدامية وتحقّق من المحوّل النهائي. إذا تم تمرير قيمة عشرية (float)، يتم تفسيرها كعتبة تباين/طاقة مُفسَّرة: نختار أصغر رتبة k بحيث تمثل القيم المفردة العشرة الأولى k على الأقل تلك النسبة من مجموع مربعات القيم المفردة. يؤدي هذا فعليًا إلى إسناد رتب أدنى إذا كانت بضع قيم مفردة قادرة على التقاط تكيّف هذه الطبقة. تعني القيمة العشرية الأدنى رتبة أدنى والعكس صحيح. كن على دراية بأن الرتب الديناميكية قد تؤدي إلى رتب غير متساوية للغاية لكل طبقة، مما يعني أن بعض الطبقات قد تتطلب كمية غير متناسبة من الذاكرة للتفعيلات. اختيار رتبة ثابتة (int) أفضل لتحقيق متطلبات ذاكرة قابلة للتنبؤ. - adapter_name (
str، اختياري) — اسم المُكيّف الذي سيتم تحويله. يمكن تحويل مُكيّف واحد فقط في كل مرة. القيمة الافتراضية هي"default". - progressbar (
bool) — ما إذا كان يجب عرض شريط تقدّم يُظهر مدى تقدّم عملية التحويل (قد يستغرق الأمر بضع دقائق للنماذج الكبيرة). - compile_kwargs (
dict، اختياري) — إذا تم توفيره، يُترجم الدالة لتحويل الوحدات الفردية إلى LoRA مع تمرير kwargs المحددة إلىtorch.compile. قد يؤدي هذا إلى تسريع عملية التحويل على النماذج الكبيرة.
تحويل نموذج غير LoRA يحتوي على طبقات PEFT إلى نقطة تحقق LoRA.
هذا مدعوم فقط لبعض طرق PEFT المحددة التي تسمح بتحويل مكافئ. في الأساس، الأمر يتلخص في طرق PEFT التي يمكننا من خلالها حساب فرق الوزن الإضافي W’ - W، إما بشكل مباشر (الطرق الإضافية مثل LoKr) أو من خلال بناء الوزن الفعّال W’ أولاً (الطرق الضربية مثل OFT). كما أن الطبقات الخطية فقط هي المدعومة حالياً.
سيتيح مُكيّف LoRA محاولة تقريب المُكيّف الأولي بأقرب قدر ممكن. كلما ارتفع الرتبة، تحسّن التقريب. يُتوقع ألا يصل التقريب أبدًا إلى الأداء الكامل للمُكيّف الأصلي، وأن كفاءة المعلمات في مُكيّف LoRA ستكون أقل من كفاءة المُكيّف الأصلي (أي أنه سيحتاج إلى عدد أكبر من المعلمات لتحقيق أداء مماثل). ومع ذلك، قد يكون التحويل مفيدًا في العديد من الحالات:
- في PEFT، يدعم LoRA ميزات أكثر من معظم الأساليب الأخرى، مثل دفعات المحوِّلات المختلطة. وبالتالي، يمكن استخدام المحوِّل المُحوَّل مع تلك الميزات.
- تدعم بعض الحزم الفرعية (downstream packages) محولات LoRA، لكنها لا تدعم طرق PEFT الأخرى، مثل Diffusers. يتيح التحويل استخدام محوّل غير LoRA مع تلك الحزم.
عامل توسيع LoRA مُدمج مسبقًا في أوزان LoRA، وبالتالي سيكون التوسيع دائمًا واحدًا (أي يتم اختيار الرتبة و alpha لتكون متطابقة).
ملاحظة: لا تدعم هذه الدوال النماذج المجزأة (بعد).
يُطلق
TypeError:
إذا لم يحتوي النموذج المُقدَّم على أي طبقات يمكن تحويلها إلى LoRA، يُطلق TypeError.
ValueError:
إذا تم اختيار رتبة غير صالحة (مرتفعة جدًا أو منخفضة جدًا)، أو إذا كانت المُكيِّفات مدمجة حاليًا في الأوزان الأساسية (في هذه الحالة يجب فصلها أولًا).
تحويل نموذج غير LoRA إلى نموذج LoRA، وحفظ نقطة التفتيش والمعاملات الخاصة بالمُكيّف في المسار المحدد
peft.save_as_lora
< source >( path: str | os.PathLikemodel: Modulerank: floatadapter_name: str = 'default'progressbar: bool = Falsecompile_kwargs = None )
المعاملات
- model — النموذج المراد تحويله. يجب أن يكون نموذجًا يحتوي على طبقات PEFT تدعم التحويل.
- rank (
intأوfloat) — الرتبة المطلوبة لمحوّل LoRA المُعاد. تؤدي الرتبة الأعلى إلى محوّل LoRA يعكس المحوّل الأصلي بدقة أكبر. ومع ذلك، سيتطلب ذلك أيضًا ذاكرة وحسابات ومساحة تخزين أكبر. لذلك، اختر قيمة تمثل أفضل توازن لحالتك الاستخدامية وتحقّق من المحوّل النهائي. إذا تم تمرير قيمة عشرية (float)، يتم تفسيرها كعتبة تباين/طاقة مُفسَّرة: نختار أصغر رتبة k بحيث تمثل القيم المفردة العشرة الأولى k على الأقل تلك النسبة من مجموع مربعات القيم المفردة. يؤدي هذا فعليًا إلى إسناد رتب أدنى إذا كانت بضع قيم مفردة قادرة على التقاط تكيّف هذه الطبقة. تعني القيمة العشرية الأدنى رتبة أدنى والعكس صحيح. كن على دراية بأن الرتب الديناميكية قد تؤدي إلى رتب غير متساوية للغاية لكل طبقة، مما يعني أن بعض الطبقات قد تتطلب كمية غير متناسبة من الذاكرة للتفعيلات. اختيار رتبة ثابتة (int) أفضل لتحقيق متطلبات ذاكرة قابلة للتنبؤ. - adapter_name (
str، اختياري) — اسم المُكيّف الذي سيتم تحويله. يمكن تحويل مُكيّف واحد فقط في كل مرة. القيمة الافتراضية هي"default". - progressbar (
bool) — ما إذا كان يجب عرض شريط تقدّم يُظهر مدى تقدّم عملية التحويل (قد يستغرق الأمر بضع دقائق للنماذج الكبيرة). - compile_kwargs (
dict، اختياري) — إذا تم توفيره، يُترجم الدالة لتحويل الوحدات الفردية إلى LoRA مع تمرير kwargs المحددة إلىtorch.compile. قد يؤدي هذا إلى تسريع عملية التحويل على النماذج الكبيرة.
تحويل نموذج غير LoRA يحتوي على طبقات PEFT إلى LoRA، ثم حفظ ملف نقطة التفتيش (checkpoint) وإعدادات PEFT.
هذا مدعوم فقط لبعض طرق PEFT المحددة التي تسمح بتحويل مكافئ. في الأساس، الأمر يتلخص في طرق PEFT التي يمكننا من خلالها حساب فرق الوزن الإضافي W’ - W، إما بشكل مباشر (الطرق الإضافية مثل LoKr) أو من خلال بناء الوزن الفعّال W’ أولاً (الطرق الضربية مثل OFT). كما أن الطبقات الخطية فقط هي المدعومة حالياً.
سيتيح مُكيّف LoRA محاولة تقريب المُكيّف الأولي بأقرب قدر ممكن. كلما ارتفع الرتبة، تحسّن التقريب. يُتوقع ألا يصل التقريب أبدًا إلى الأداء الكامل للمُكيّف الأصلي، وأن كفاءة المعلمات في مُكيّف LoRA ستكون أقل من كفاءة المُكيّف الأصلي (أي أنه سيحتاج إلى عدد أكبر من المعلمات لتحقيق أداء مماثل). ومع ذلك، قد يكون التحويل مفيدًا في العديد من الحالات:
- في PEFT، يدعم LoRA ميزات أكثر من معظم الأساليب الأخرى، مثل دفعات المحوِّلات المختلطة. وبالتالي، يمكن استخدام المحوِّل المُحوَّل مع تلك الميزات.
- تدعم بعض الحزم الفرعية (downstream packages) محولات LoRA، لكنها لا تدعم طرق PEFT الأخرى، مثل Diffusers. يتيح التحويل استخدام محوّل غير LoRA مع تلك الحزم.
عامل توسيع LoRA مُدمج مسبقًا في أوزان LoRA، وبالتالي سيكون التوسيع دائمًا واحدًا (أي يتم اختيار الرتبة و alpha لتكون متطابقة).
يمكنك تحميل أوزان LoRA المحوّلة على النحو التالي:
>>> lora_path = ...
>>> save_as_lora(lora_path, model, rank=...)
>>> base_model = AutoModel.from_pretrained(...)
>>> lora_model = PeftModel.from_pretrained(base_model, lora_path)ملاحظة: لا تدعم هذه الدوال النماذج المجزأة (بعد).
يُطلق
TypeError:
إذا لم يحتوي النموذج المُقدَّم على أي طبقات يمكن تحويلها إلى LoRA، يُطلق TypeError.
ValueError:
إذا تم اختيار رتبة غير صالحة (مرتفعة جدًا أو منخفضة جدًا)، أو إذا كانت المُكيِّفات مدمجة حاليًا في الأوزان الأساسية (في هذه الحالة يجب فصلها أولًا).