PEFT documentation

LyCORIS

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LyCORIS

LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) son adaptadores de descomposición de matrices similares a LoRA que modifican la capa de atención cruzada del UNet. Los métodos LoHa y LoKr heredan de las clases Lycoris aquí.

LycorisConfig

clase peft.tuners.lycoris_utils.LycorisConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory> )

Una configuración base para adaptadores tipo LyCORIS

LycorisLayer

clase peft.tuners.lycoris_utils.LycorisLayer

< >

( base_layer: nn.Module )

Una capa base para adaptadores como LyCORIS

merge

< >

( safe_merge: bool = Falseadapter_names: Optional[list[str]] = None )

Parámetros

  • safe_merge (bool, opcional) — Si es True, la operación de fusión se realizará en una copia de los pesos originales y se comprobarán los NaN antes de fusionar los pesos. Esto es útil si deseas comprobar si la operación de fusión producirá NaN. El valor predeterminado es False.
  • adapter_names (List[str], opcional) — La lista de nombres de adaptadores que deben fusionarse. Si es None, se fusionarán todos los adaptadores activos. El valor predeterminado es None.

Fusiona los pesos del adaptador activo en los pesos base

unmerge

< >

( )

Este método desune todas las capas de adaptador fusionadas de los pesos base.

LycorisTuner

clase peft.tuners.lycoris_utils.LycorisTuner

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Parámetros

  • model (torch.nn.Module) — El modelo que se va a adaptar.
  • config (LoraConfig) — La configuración del modelo Lora.
  • adapter_name (str) — El nombre del adaptador, por defecto es "default".
  • low_cpu_mem_usage (bool, optional, defaults to False) — Crea pesos de adaptador vacíos en el dispositivo meta. Útil para acelerar el proceso de carga.

Un afinador base para adaptadores tipo LyCORIS

Update on GitHub