PEFT documentation

Llama-Adapter

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Llama-Adapter

LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention

Llama-Adapter, Llama'yı talimat takibi yapabilen bir modele dönüştürmek için özel olarak tasarlanmış bir PEFT yöntemidir. Llama modeli dondurulur ve yalnızca girdi talimat jetonlarının başına eklenen bir dizi adaptasyon istemi öğrenilir. Modele rastgele başlatılmış modüllerin eklenmesi, modelin mevcut bilgilerinin bir kısmını kaybetmesine neden olabileceğinden, Llama-Adapter, talimat istemlerini modele kademeli olarak eklemek için sıfır başlatılmış dikkati ve sıfır kapılamayı kullanır.

Makalenin özeti şudur:

LLaMA-Adapter'ı sunuyoruz; bu, LLaMA'yı bir talimat takibi modeline verimli bir şekilde ince ayarlamak için hafif bir uyarlama yöntemidir. 52K self-instruct gösterimi kullanarak LLaMA-Adapter, dondurulmuş LLaMA 7B modeli üzerine yalnızca 1,2M öğrenilebilir parametre ekler ve 8 A100 GPU üzerinde ince ayar için bir saatten az bir maliyet gerektirir. Özellikle, bir dizi öğrenilebilir uyarlama istemini (adaption prompt) benimser ve bunları daha yüksek transformer katmanlarında girdi metin token'larının başına ekler. Ardından, sıfır kapılamalı (zero gating) sıfır başlatmalı (zero-init) bir dikkat mekanizması önerilir; bu mekanizma, yeni talimat ipuçlarını LLaMA'ya uyumlu bir şekilde enjekte ederken önceden eğitilmiş bilgisini etkili bir şekilde korur. Verimli eğitimle LLaMA-Adapter, tamamen ince ayarlanmış 7B parametrelere sahip Alpaca ile karşılaştırılabilir yüksek kaliteli yanıtlar üretir. Ayrıca, yaklaşmamız, örneğin görüntüler gibi çok modlu girdilere basitçe genişletilebilir; bu da ScienceQA'da üstün akıl yürütme kapasitesi elde eden görüntü koşullu LLaMA'yı sağlar. Kodumuzu https://github.com/ZrrSkywalker/LLaMA-Adapter adresinde yayınladık.

Llama-Adapter'ın ne zaman kullanılacağı

Llama-Adapter şu durumlarda iyi bir seçimdir:

  • Çok küçük bir checkpoint istiyorsunuz. Sadece adaptasyon istemleri ve bunların kapıları eğitilir ve kaydedilir; bu da adapter_layers * (adapter_len * hidden_size + 1) parametreye karşılık gelir.
  • Desteklenen bir modeli (Llama, Mistral veya GPT-2) talimatla ayarlıyorsunuz; bu, makalenin odaklandığı kullanım senaryosudur.
  • Aynı temel model için birden fazla görev özel adaptörünü tutmak ve bunlar arasında set_adapter ile geçiş yapmak istiyorsanız

Llama-Adapter'ın kullanılmaması gereken durumlar

Llama-Adapter şu durumlarda en iyi seçenek olmayabilir:

  • Modeliniz bir Llama, Mistral veya GPT-2 modeli değil. Diğer mimariler bir ValueError yükseltir. Bunun yerine LoRA kullanmayı düşünün.
  • Sıfır çıkarım (inference) maliyeti gereklidir. Adaptör, taban ağırlıklarla birleştirilemez (merge_and_unload() desteklenmez), bu nedenle her uyarlanmış katman, çıkarım sırasında adapter_len ek token üzerinde dikkat (attention) uygular.
  • Birden fazla adaptörün aynı anda etkin olmasını istiyorsunuz. Sadece bir adaptör etkin olabilir ve adaptasyon istemleri aynı dikkat modülünde üst üste yığılamaz.

Karma performans değerlendirmesi genel bakış

API

AdaptionPromptConfig

sınıf peft.AdaptionPromptConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetarget_modules: str = Noneadapter_len: int = Noneadapter_layers: int = None )

Bir AdaptionPromptModel yapılandırmasını depolar.

AdaptionPromptModel

sınıf peft.AdaptionPromptModel

< >

( modelconfigs: dictadapter_name: str )

https://huggingface.co/papers/2303.16199 makalesinde tanımlandığı gibi uyarlama istemlerini (adaption prompts) uygular.

En üstteki L dikkat modülleri, orijinallerini saran ancak sıfır başlatma için kapılı (gates) eğitilebilir istemler (prompts) ekleyen AdaptedAttention modülleriyle değiştirilir.

Çoklu adaptör deseni hakkında notlar:

  • Farklı adaptörlerin durumlarını, adaptör adıyla indekslenen AdaptedAttention modüllerinin bir sözlüğünü tutarak saklarız.
  • Her seferinde adaptörleri değiştirdiğimizde, modelden şu anda etkin olan adaptöre ait modülleri kaldırır, bunları sözlükte saklar ve yeni adaptöre ait modüllerle değiştiririz.
  • Yinelenen ve potansiyel olarak tutarsız durumları önlemek için, şu anda etkin olan adaptör her zaman sözlükten kaldırılır.
  • Eklentinin devre dışı bırakılması, modüllerin modelden kaldırılmasına da neden olur.

add_adapter

< >

( adapter_name: strconfig: AdaptionPromptConfig )

Verilen ad ve yapılandırmaya sahip bir adaptör ekleyin.

delete_adapter

< >

( adapter_name: str )

Verilen ada sahip bir adaptörü siler.

disable_adapter_layers

< >

( )

AdaptedAttention modüllerini değiştirerek adaptör katmanlarını devre dışı bırakın.

enable_adapter_layers

< >

( )

Önbelleğe alınmış AdaptedAttention modüllerini takas ederek adaptör katmanlarını etkinleştirin.

set_adapter

< >

( adapter_name: strinference_mode: bool = False )

Modeli, verilen ada sahip adaptörü kullanacak şekilde ayarlayın.

Update on GitHub