PEFT documentation
RoAd
RoAd
RoAd — это метод дообучения с эффективным использованием параметров, который адаптирует большие языковые модели, обучая небольшой набор матриц поворота 2×2 (и необязательных коэффициентов масштабирования), применяемых к парам скрытых измерений. RoAd обеспечивает конкурентоспособную или превосходящую производительность по сравнению с другими методами PEFT при количестве обучаемых параметров менее 0,1%. В отличие от пакетных обновлений с низким рангом в LoRA, разреженные повороты RoAd преобразуются в простые поэлементные операции, что обеспечивает значительно более высокую пропускную способность при обслуживании гетерогенных запросов в одном пакете, то есть при одновременном обслуживании нескольких адаптеров. Кроме того, RoAd бесшовно интегрируется в распределённую систему вмешательств, интерпретируя свои разреженные 2D-повороты как специфичные для задачи вмешательства в пределах выученных подпространств скрытых представлений. Эти ортогональные подпространства можно комбинировать для объединения нескольких специфичных для задачи поведенческих характеристик — таких как многоязычные возможности или следование инструкциям — без дополнительного дообучения, что позволяет создавать модульные и интерпретируемые адаптации в LLM.
Допобучение с RoAd обычно требует более высокой скорости обучения по сравнению с LoRA или аналогичными методами, примерно 1e-3. В настоящее время RoAd поддерживает только линейные слои и может использоваться с моделями, квантованными с помощью bitsandbytes (4-битное или 8-битное квантование).
Для выполнения инференса с различными адаптерами RoAd в одном батче см. Инференс с различными адаптерами LoRA в одном батче.
Обзор бенчмарков
API
RoadConfig
класс peft.RoadConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsevariant: Union[str, RoadVariant] = 'road_1'group_size: int = 64init_weights: bool = Truetarget_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = None )
Параметры
- variant (Union[
RoadVariant,str]) — Вариант модели Road, который следует использовать. Допустимые значения: road_1, road_2 или road_4. Подробнее см. в статье.- road_1: Использует одинаковый масштаб и угол для всех пар элементов. Этот вариант имеет наименьшее количество параметров: для каждого слоя, к которому применяется RoAd, он хранит число, равное размеру скрытого слоя на выходе, параметров.
- road_2: Использует одинаковый масштаб и угол для каждого элемента. У этого варианта в 2 раза больше параметров, чем у road_1.
- road_4: Использует два разных масштаба и угла для каждого элемента. В этом варианте в 4 раза больше параметров, чем в road_1.
- group_size (
int) — Размер группы определяет, как элементы группируются в 2D-векторы для вращения. Внутри каждой группы элемент 0 объединяется с элементом group_size/2, затем элемент 1 — с элементом group_size/2+1 и так далее. Это не влияет на производительность модели, поскольку элементы не упорядочены, однако это может влияет на скорость инференса, например, при использовании VLLM. Для наилучшей скорости рекомендуется размер группы не менее 32 или 64 (значение по умолчанию). Обратите внимание, что скрытый размер модели (или скрытый размер на каждый раздел при использовании tensor parallelism) должен делиться на group_size, поэтому для очень маленьких моделей может потребоваться уменьшить этот параметр. - init_weights (
bool) — Выполнять ли инициализацию весов RoAd. - target_modules (
Optional[Union[List[str], str]]) — Имена модулей, к которым следует применить адаптер. Если это значение указано, будут заменены только модули с указанными именами. При передаче строки выполняется сопоставление по регулярному выражению. При передаче списка строк выполняется точное совпадение или проверяется, заканчивается ли имя модуля каким-либо из переданных строк. Если это значение указано как ‘all-linear’, выбираются все линейные/Conv1D модули (если модель является PreTrainedModel, выходной слой исключается). Если это значение не указано, модули выбираются в соответствии с архитектурой модели. Если архитектура неизвестна, будет выброшена ошибка — в этом случае следует указать целевые модули вручную. - modules_to_save (
List[str]) — Список модулей, помимо слоёв Road, которые должны быть установлены как обучаемые и сохранены в итоговом контрольном пункте.
Это класс конфигурации для хранения настроек модели RoadModel. Адаптер RoAd предложен в статье https://huggingface.co/papers/2409.00119.
RoadModel
класс peft.RoadModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )