PEFT documentation

LoRA Chặn Chéo Đường Chéo Để Loại Bỏ Chi Phí Truyền Thông Trong Việc Phục Vụ LoRA Song Song Tensor

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LoRA Chặn Chéo Đường Chéo Để Loại Bỏ Chi Phí Truyền Thông Trong Việc Phục Vụ LoRA Song Song Tensor

Block-Diagonal LoRA (BD-LoRA) là một biến thể của LoRA trong đó một số hệ số LoRA bị ràng buộc để có dạng khối đường chéo. Điều này cho phép phục vụ nhanh hơn bằng cách loại bỏ chi phí truyền thông khi chạy suy luận trên nhiều GPU. Mặc dù có ràng buộc khối đường chéo, BD-LoRA vẫn đạt hiệu suất tương đương với LoRA thông thường ở cùng số lượng tham số.

BD-LoRA được thiết kế để sử dụng cùng với tensor parallelism, tức là chia nhỏ trọng số của một mô hình trên nhiều GPU. Một chiến lược chia nhỏ phổ biến là Chiến lược chia nhỏ Megatron. Đối với hai lớp tuyến tính $W_1$, W2W_2 nối tiếp nhau (ví dụ như các phép chiếu up và down trong một module MLP của transformer), chúng ta sẽ chia nhỏ lớp đầu tiên theo kiểu column-parallel (điều này yêu cầu LoRA B phải có dạng khối đối góc) và lớp thứ hai theo kiểu row-parallel (điều này yêu cầu LoRA A phải có dạng khối đối góc). Đối với module attention, điều tương tự có thể đạt được bằng cách gộp các phép chiếu Q, K và V lại thành W1W_1 và phép chiếu out thành $W_2$, sau đó chia nhỏ tương ứng. Cách chia nhỏ này cho phép một engine suy luận tương thích phân phối mỗi shard dạng khối đối góc sang một GPU khác nhau, giảm bớt nhu cầu truyền thông các kết quả trung gian giữa các GPU. Trong hình dưới đây, bạn có thể thấy chiến lược chia nhỏ chính xác và cách nó tiết kiệm công sức tính toán.

Bài báo: https://hf.co/papers/2510.23346

Hiệu suất, thứ hạng và số lượng tham số

BD-LoRA đạt hiệu suất tương đương với LoRA (xem hình bên dưới, hoặc thư mục method_comparison ở thư mục gốc của kho peft) với cùng số lượng tham số. Tuy nhiên, vì mọi yếu tố khác trong BD-LoRA đều là khối chéo, một adapter BD-LoRA sẽ có ít tham số hơn một adapter LoRA ở cùng rank. Hiệu suất của BD-LoRA chỉ cạnh tranh được khi rank được tăng lên tương ứng. Chúng tôi cung cấp mã ví dụ cho việc khớp rank ở cuối notebook ví dụ này.

API

BdLoraConfig

lớp peft.BdLoraConfig

< >

( target_modules_bd_a: Optional[list[str]] = Nonetarget_modules_bd_b: Optional[list[str]] = Nonenblocks: int = 1match_strict: bool = True )

Tham số

  • target_modules_bd_a — Các module mà LoRA-A có dạng khối chéo. Mỗi pattern trong danh sách được khớp với tên module thông qua pattern is in target_name. Ví dụ: [‘up_proj’, ‘q_proj’, ‘v_proj’, ‘k_proj’]
  • target_modules_bd_b — Các module mà LoRA-B có dạng khối chéo. Mỗi pattern trong danh sách được khớp với tên module thông qua pattern is in target_name. Ví dụ: [‘out_proj’, ‘down_proj’]
  • nblocks — Số lượng khối trong các ma trận khối chéo
  • match_strict — Nếu được đặt thành true, yêu cầu mỗi target_module phải có LoRA-A hoặc LoRA-B dạng khối chéo, và sẽ gây ra lỗi nếu không. Bạn có thể đặt giá trị này thành False để kết hợp huấn luyện LoRA và BD-LoRA, ví dụ nếu một số lớp trong module của bạn không được hưởng lợi từ BD-LoRA.

Cấu hình cho BD-LoRA (Block-Diagonal LoRA). BD-LoRA là một biến thể của LoRA có thể được sử dụng để phục vụ nhiều LoRA hiệu quả trong các engine suy luận. Kết quả tăng tốc độ đến từ việc giảm giao tiếp giữa các GPU bằng cách đặt một số module LoRA nhất định thành dạng khối chéo.

Để xác định các hệ số LoRA nào nên được đặt dưới dạng khối đường chéo, hãy làm theo các hướng dẫn sau:

  • Đối với attention, hãy đặt
    • Các phép chiếu Q, K, V để khối đối góc LoRA-B
    • Out projection để khối đối góc LoRA-A
  • Đối với MLP, hãy đặt
    • Up, Gate projection để khối LoRA-B có dạng khối chéo
    • Dự phóng xuống để khối đối xứng theo khối LoRA-A

Đối với các module và/hoặc kiến trúc khác, hãy xem xét mã nguồn của inference engine đích của bạn. Các module được chia theo hàng (row-sharded) nên có LoRA-A dạng block-diagonal, còn các module được chia theo cột (column-sharded) nên có LoRA-B dạng block-diagonal.

Update on GitHub