PEFT documentation

BEFT: Эффективная по смещению дообучение языковых моделей в условиях малого объёма данных

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

BEFT: Эффективная по смещению дообучение языковых моделей в условиях малого объёма данных

BEFT — это алгоритм параметрически эффективной дообучения (PEFT), который дообучает только добавленные смещения (bias) в проекциях значений (value) предобученных трансформерных моделей. BEFT демонстрирует, что дообучение добавленных смещений в проекциях значений предобученных трансформеров, как правило, обеспечивает более высокую производительность на downstream-задачах в условиях малого объёма данных по сравнению с дообучением добавленных смещений в проекциях запросов/ключей (query/key).

В настоящее время у BEFT есть следующие компромиссы:

Преимущества:

  • BEFT требует значительно меньше параметров, чем LoRA, при этом сохраняя конкурентоспособную или превосходящую производительность на задачах в условиях ограниченных данных.

Недостатки:

  • В режимах с большим объёмом данных эффективность BEFT может быть ограниченной по сравнению с LoRA и дообучением всех параметров.

Если ваш сценарий использования относится к режиму с большим объёмом данных, рассмотрите другие методы PEFT, такие как LoRA.

Аннотация из статьи:

Дообучение смещающих членов (bias terms) больших языковых моделей (LLM) обладает потенциалом для достижения беспрецедентной параметрической эффективности при сохранении конкурентоспособной производительности, особенно в условиях ограниченного объёма данных. Однако связь между дообучением различных смещающих членов (а именно bq, bk и bv в проекциях запроса, ключа и значения) и качеством выполнения downstream-задач до сих пор остаётся в значительной степени неясной. В данной статье мы исследуем связь между дообучением bq, bk и bv и производительностью на downstream-задачах. Наше ключевое открытие состоит в том, что прямое дообучение bv как правило приводит к более высокому качеству выполнения downstream-задач в условиях ограниченного объёма данных по сравнению с bq и bk. Мы подробно оцениваем это уникальное свойство на широком спектре LLM, охватывающем архитектуры только с энкодером и только с декодером вплоть до 6,7 млрд параметров (включая LLM без смещающих членов). Наши результаты предоставляют убедительные доказательства эффективности прямого дообучения bv на различных downstream-задачах.

Обзор бенчмарков

API

BeftConfig

класс peft.BeftConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Noneinit_weights: bool = True )

Параметры

  • target_modules (Optional[Union[List[str], str]]) — Имена модулей, к которым следует применить адаптер. Если это значение указано, будут заменены только модули с указанными именами. При передаче строки выполняется сопоставление по регулярному выражению. При передаче списка строк выполняется точное совпадение или проверяется, заканчивается ли имя модуля каким-либо из переданных строк. Если это значение не указано, модули выбираются в соответствии с архитектурой модели. Если архитектура неизвестна, будет выброшена ошибка — в этом случае следует указать целевые модули вручную.
  • modules_to_save (Optional[List[str]]) — Список модулей, помимо слоёв BEFT, которые должны быть установлены как обучаемые и сохранены в итоговой контрольной точке.
  • init_weights (bool) — Следует ли инициализировать векторы в слоях BEFT, по умолчанию True. Установка этого параметра в False не рекомендуется.

Это класс конфигурации для хранения конфигурации модели BeftModel.

BeftModel

класс peft.BeftModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

Параметры

  • model (PreTrainedModel) — Модель, подлежащая адаптации.
  • config (BeftConfig) — конфигурация модели (BEFT).
  • adapter_name (str) — имя адаптера, по умолчанию "default".
  • low_cpu_mem_usage (bool, optional, по умолчанию False) — Создаёт пустые веса адаптера на meta-устройстве. Полезно для ускорения процесса загрузки.

Возвращает

torch.nn.Module

Модель (BEFT).

Создаёт Infused Adapter, обучая только добавленные смещения (bias) в проекциях значений (value projections) предобученной модели transformers в условиях малого объёма обучающих данных (BEFT). Метод подробно описан в https://arxiv.org/abs/2509.15974

Пример:

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import BeftConfig, get_peft_model

>>> config = BeftConfig(
...     task_type="SEQ_2_SEQ_LM",
...     target_modules=["v"],
... )

>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> beft_model = get_peft_model(model, config)

Атрибуты:

  • model (PreTrainedModel) — Модель, подлежащая адаптации.
  • peft_config (BeftConfig): конфигурация модели (BEFT).
Update on GitHub