PEFT documentation
BEFT: Эффективная по смещению дообучение языковых моделей в условиях малого объёма данных
BEFT: Эффективная по смещению дообучение языковых моделей в условиях малого объёма данных
BEFT — это алгоритм параметрически эффективной дообучения (PEFT), который дообучает только добавленные смещения (bias) в проекциях значений (value) предобученных трансформерных моделей. BEFT демонстрирует, что дообучение добавленных смещений в проекциях значений предобученных трансформеров, как правило, обеспечивает более высокую производительность на downstream-задачах в условиях малого объёма данных по сравнению с дообучением добавленных смещений в проекциях запросов/ключей (query/key).
В настоящее время у BEFT есть следующие компромиссы:
Преимущества:
- BEFT требует значительно меньше параметров, чем LoRA, при этом сохраняя конкурентоспособную или превосходящую производительность на задачах в условиях ограниченных данных.
Недостатки:
- В режимах с большим объёмом данных эффективность BEFT может быть ограниченной по сравнению с LoRA и дообучением всех параметров.
Если ваш сценарий использования относится к режиму с большим объёмом данных, рассмотрите другие методы PEFT, такие как LoRA.
Аннотация из статьи:
Дообучение смещающих членов (bias terms) больших языковых моделей (LLM) обладает потенциалом для достижения беспрецедентной параметрической эффективности при сохранении конкурентоспособной производительности, особенно в условиях ограниченного объёма данных. Однако связь между дообучением различных смещающих членов (а именно bq, bk и bv в проекциях запроса, ключа и значения) и качеством выполнения downstream-задач до сих пор остаётся в значительной степени неясной. В данной статье мы исследуем связь между дообучением bq, bk и bv и производительностью на downstream-задачах. Наше ключевое открытие состоит в том, что прямое дообучение bv как правило приводит к более высокому качеству выполнения downstream-задач в условиях ограниченного объёма данных по сравнению с bq и bk. Мы подробно оцениваем это уникальное свойство на широком спектре LLM, охватывающем архитектуры только с энкодером и только с декодером вплоть до 6,7 млрд параметров (включая LLM без смещающих членов). Наши результаты предоставляют убедительные доказательства эффективности прямого дообучения bv на различных downstream-задачах.
Обзор бенчмарков
API
BeftConfig
класс peft.BeftConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Noneinit_weights: bool = True )
Параметры
- target_modules (
Optional[Union[List[str], str]]) — Имена модулей, к которым следует применить адаптер. Если это значение указано, будут заменены только модули с указанными именами. При передаче строки выполняется сопоставление по регулярному выражению. При передаче списка строк выполняется точное совпадение или проверяется, заканчивается ли имя модуля каким-либо из переданных строк. Если это значение не указано, модули выбираются в соответствии с архитектурой модели. Если архитектура неизвестна, будет выброшена ошибка — в этом случае следует указать целевые модули вручную. - modules_to_save (
Optional[List[str]]) — Список модулей, помимо слоёв BEFT, которые должны быть установлены как обучаемые и сохранены в итоговой контрольной точке. - init_weights (
bool) — Следует ли инициализировать векторы в слоях BEFT, по умолчаниюTrue. Установка этого параметра вFalseне рекомендуется.
Это класс конфигурации для хранения конфигурации модели BeftModel.
BeftModel
класс peft.BeftModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
Параметры
- model (PreTrainedModel) — Модель, подлежащая адаптации.
- config (BeftConfig) — конфигурация модели (BEFT).
- adapter_name (
str) — имя адаптера, по умолчанию"default". - low_cpu_mem_usage (
bool,optional, по умолчаниюFalse) — Создаёт пустые веса адаптера на meta-устройстве. Полезно для ускорения процесса загрузки.
Возвращает
torch.nn.Module
Модель (BEFT).
Создаёт Infused Adapter, обучая только добавленные смещения (bias) в проекциях значений (value projections) предобученной модели transformers в условиях малого объёма обучающих данных (BEFT). Метод подробно описан в https://arxiv.org/abs/2509.15974
Пример:
>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import BeftConfig, get_peft_model
>>> config = BeftConfig(
... task_type="SEQ_2_SEQ_LM",
... target_modules=["v"],
... )
>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> beft_model = get_peft_model(model, config)Атрибуты:
- model (PreTrainedModel) — Модель, подлежащая адаптации.
- peft_config (BeftConfig): конфигурация модели (BEFT).