PEFT documentation

C3A: Tinh chỉnh hiệu quả tham số thông qua tích chập tuần hoàn

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

C3A: Tinh chỉnh hiệu quả tham số thông qua tích chập tuần hoàn

C3A là một kỹ thuật tinh chỉnh hiệu quả về tham số, tận dụng Cuộn tròn (Circular Convolution) để đạt được thích ứng bậc cao trong giới hạn tài nguyên hợp lý.

Lưu ý rằng bạn nên sử dụng tốc độ học (LR) lớn hơn nhiều cho C3A so với các phương pháp khác. Ví dụ, LR là 1e-1 cho C3A là một điểm khởi đầu tốt. Ngoài ra, nên sử dụng weight decay nhỏ hơn nhiều. Bạn có thể tham khảo thư mục method_comparison để biết thêm chi tiết.

Đối với block_size, nó ảnh hưởng đến các tham số có thể điều chỉnh và hiệu suất. Để bắt đầu, bạn có thể chọn một gcd(d1,d2)\mathrm{gcd}(d_1,d_2) gần $\frac{\sqrt{d_1 \times d_2}}{r}$, trong đó rr là rank của LoRA mà bạn sẽ sử dụng cho tác vụ này.

C3A hiện có các ràng buộc sau:

  • Chỉ hỗ trợ các lớp nn.Linear.
  • Các lớp lượng tử hóa không được hỗ trợ.
  • Kích thước khối nên là một ước số chung của cả kích thước đầu vào và đầu ra của các lớp đích.

Nếu các ràng buộc này không phù hợp với trường hợp sử dụng của bạn, hãy cân nhắc các phương pháp khác.

Tóm tắt từ bài báo là:

Low-Rank Adaptation (LoRA) đã trở nên phổ biến trong việc tinh chỉnh các mô hình nền tảng lớn, tận dụng các ma trận hạng thấp A\mathbf{A} và B\mathbf{B} để biểu diễn các thay đổi trọng số (tức là $\Delta \mathbf{W} = \mathbf{B} \mathbf{A}$). Phương pháp này giảm số lượng tham số có thể huấn luyện và giảm thiểu việc tiêu thụ bộ nhớ lớn liên quan đến các ma trận delta đầy đủ bằng cách nhân tuần tự A\mathbf{A} và B\mathbf{B} với kích hoạt. Mặc dù thành công, đặc tính hạng thấp nội tại có thể hạn chế hiệu suất của nó. Mặc dù một số biến thể đã được đề xuất để giải quyết vấn đề này, chúng thường bỏ qua hiệu quả tính toán và bộ nhớ quan trọng do LoRA mang lại. Trong bài báo này, chúng tôi đề xuất Circular Convolution Adaptation (C3A), không chỉ đạt được thích ứng hạng cao với hiệu suất được cải thiện mà còn vượt trội về cả sức mạnh tính toán và khả năng sử dụng bộ nhớ. Các thí nghiệm rộng rãi cho thấy C3A luôn vượt trội hơn LoRA và các biến thể của nó trong nhiều tác vụ tinh chỉnh khác nhau.

Tổng quan về benchmark

API

C3AConfig

lớp peft.C3AConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falseblock_size: int = 256target_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Noneblock_size_pattern: Optional[dict] = <factory>init_weights: Optional[Union[bool, Literal['gaussian', 'kaiming_uniform', 'xavier_uniform']]] = 'xavier_uniform' )

Tham số

  • block_size (int) — kích thước khối cho C3A, phải chia hết cho cả kích thước đầu vào và kích thước đầu ra của lớp đích. Nếu bạn không biết nên dùng block_size nào, hãy đặt nó bằng ước số chung lớn nhất của tất cả các kích thước đầu vào & đầu ra của các lớp đích. Tăng giá trị này sẽ dẫn đến ít tham số hơn.
  • target_modules (Union[list[str],str]) — Tên của các module cần áp dụng C3A.
  • bias (str) — Bias type for C3A. Can be ‘none’, ‘all’ or ‘c3a_only’. If ‘all’ or ‘c3a_only’, the corresponding biases will be updated during training. Be aware that this means that, even when disabling the adapters, the model will not produce the same output as the base model would have without adaptation.
  • modules_to_save (list[str]) — danh sách các module ngoài các lớp C3A sẽ được đặt là có thể huấn luyện và lưu trong checkpoint cuối cùng.
  • layers_to_transform (Union[list[int],int]) — Các chỉ số lớp cần biến đổi. Nếu tham số này được chỉ định, C3A sẽ được áp dụng cho các chỉ số lớp được liệt kê trong danh sách này. Nếu một số nguyên duy nhất được truyền vào, C3A sẽ được áp dụng cho lớp tại chỉ số đó.
  • layers_pattern (str) — Tên mẫu lớp, chỉ được sử dụng nếu layers_to_transform khác None và nếu mẫu lớp không nằm trong các mẫu lớp phổ biến.
  • block_size_pattern (dict) — Bản ánh xạ từ tên lớp hoặc biểu thức chính quy đến block_size khác với giá trị mặc định được chỉ định. Ví dụ, {"model.decoder.layers.0.encoder_attn.k_proj": 1280}
  • init_weights (Union[bool, Literal["gaussian", "kaiming_uniform", "xavier_uniform"]]) — Mặc định là ‘xavier_uniform’. Đặt giá trị này thành False cũng sẽ sử dụng ‘xavier_uniform’. Để đặt trọng số về số 0 (do đó biến C3A thành một thao tác không làm gì), hãy đặt giá trị thành True.

Đây là lớp cấu hình để lưu trữ cấu hình của C3AModel.

C3AModel

lớp peft.C3AModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

Tham số

  • model (torch.nn.Module) — Mô hình cần được thích ứng.
  • config (C3AConfig) — Cấu hình của mô hình C3A.
  • adapter_name (str) — Tên của adapter, mặc định là "default".

Trả về

torch.nn.Module

Mô hình C3A.

Tạo mô hình C3A từ một mô hình transformers được huấn luyện trước.

Phương pháp này được mô tả chi tiết tại https://huggingface.co/papers/2407.19342.

Thuộc tính:

  • model (PreTrainedModel) — Mô hình cần được thích ứng.
  • peft_config (C3AConfig): Cấu hình của mô hình C3A.
Update on GitHub