PEFT documentation
Gộp mô hình
Gộp mô hình
Việc huấn luyện một mô hình cho từng tác vụ có thể tốn kém, chiếm nhiều dung lượng lưu trữ, và các mô hình không thể học được thông tin mới để cải thiện hiệu suất. Học đa tác vụ có thể khắc phục một số hạn chế này bằng cách huấn luyện một mô hình để học nhiều tác vụ, nhưng việc huấn luyện lại tốn kém và việc thiết kế bộ dữ liệu cho nó là thách thức. Gộp mô hình cung cấp một giải pháp cho những thách thức này bằng cách kết hợp nhiều mô hình đã được huấn luyện trước thành một mô hình duy nhất, mang lại cho nó khả năng kết hợp của từng mô hình riêng lẻ mà không cần huấn luyện thêm.
PEFT cung cấp một số phương pháp để gộp các mô hình, chẳng hạn như tổ hợp tuyến tính hoặc SVD. Hướng dẫn này tập trung vào hai phương pháp hiệu quả hơn để gộp các adapter LoRA bằng cách loại bỏ các tham số dư thừa:
- TIES - TrIm, Elect, and Merge (TIES) là phương pháp ba bước để hợp nhất các mô hình. Đầu tiên, các tham số dư thừa được cắt bỏ, sau đó các dấu mâu thuẫn được giải quyết thành một vector tổng hợp, và cuối cùng các tham số có dấu giống với dấu tổng hợp sẽ được lấy trung bình. Phương pháp này tính đến việc một số giá trị (dư thừa và không khớp dấu) có thể làm giảm hiệu suất của mô hình đã hợp nhất.
- DARE - Drop And REscale là một phương pháp có thể được sử dụng để chuẩn bị cho các phương pháp gộp mô hình khác như TIES. Phương pháp này hoạt động bằng cách ngẫu nhiên loại bỏ các tham số theo một tỷ lệ loại bỏ và điều chỉnh lại tỷ lệ của các tham số còn lại. Điều này giúp giảm số lượng tham số dư thừa và có khả năng gây nhiễu giữa nhiều mô hình.
Các mô hình được gộp lại bằng phương thức add_weighted_adapter(), và phương thức gộp mô hình cụ thể được chỉ định trong tham số combination_type.
Phương pháp hợp nhất
Với TIES và DARE, việc gộp được kích hoạt bằng cách đặt combination_type và density thành giá trị của các trọng số cần giữ lại từ các mô hình riêng lẻ. Ví dụ, hãy gộp ba mô hình TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T đã tinh chỉnh: tinyllama_lora_nobots, tinyllama_lora_sql và tinyllama_lora_adcopy.
Khi bạn cố gắng hợp nhất các mô hình đã được huấn luyện hoàn chỉnh bằng TIES, bạn cần lưu ý đến bất kỳ token đặc biệt nào mà mỗi mô hình có thể đã thêm vào lớp embedding, vốn không thuộc từ vựng của checkpoint gốc. Điều này có thể gây ra vấn đề vì mỗi mô hình có thể đã thêm một token đặc biệt vào cùng một vị trí embedding. Nếu gặp trường hợp này, bạn nên sử dụng phương thức resize_token_embeddings để tránh việc hợp nhất các token đặc biệt tại cùng một chỉ số embedding.
Điều này không nên là một vấn đề nếu bạn chỉ hợp nhất các bộ thích ứng LoRA được huấn luyện từ cùng một mô hình cơ sở.
Tải một mô hình cơ sở và có thể sử dụng phương thức load_adapter() để tải và gán tên cho từng adapter:
from peft import PeftConfig, PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
config = PeftConfig.from_pretrained("smangrul/tinyllama_lora_norobots")
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, load_in_4bit=True, device_map="auto").eval()
tokenizer = AutoTokenizer.from_pretrained("smangrul/tinyllama_lora_norobots")
model.config.vocab_size = 32005
model.resize_token_embeddings(32005)
model = PeftModel.from_pretrained(model, "smangrul/tinyllama_lora_norobots", adapter_name="norobots")
_ = model.load_adapter("smangrul/tinyllama_lora_sql", adapter_name="sql")
_ = model.load_adapter("smangrul/tinyllama_lora_adcopy", adapter_name="adcopy")Đặt các adapter, trọng số, adapter_name, combination_type và density bằng phương thức add_weighted_adapter().
Các giá trị trọng số lớn hơn 1.0 thường cho kết quả tốt hơn vì chúng giữ nguyên thang đo đúng. Giá trị khởi đầu mặc định tốt cho các trọng số là đặt tất cả các giá trị bằng 1.0.
adapters = ["norobots", "adcopy", "sql"]
weights = [2.0, 1.0, 1.0]
adapter_name = "merge"
density = 0.2
model.add_weighted_adapter(adapters, weights, adapter_name, combination_type="ties", density=density)adapters = ["norobots", "adcopy", "sql"]
weights = [2.0, 0.3, 0.7]
adapter_name = "merge"
density = 0.2
model.add_weighted_adapter(adapters, weights, adapter_name, combination_type="dare_ties", density=density)Đặt mô hình vừa được hợp nhất làm mô hình hoạt động bằng phương thức set_adapter().
model.set_adapter("merge")Bây giờ bạn có thể sử dụng mô hình đã hợp nhất như một mô hình được tinh chỉnh theo hướng dẫn để viết nội dung quảng cáo hoặc truy vấn SQL!
device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
messages = [
{"role": "user", "content": "Write an essay about Generative AI."},
]
text = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
inputs = tokenizer(text, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
outputs = model.generate(**inputs, max_new_tokens=256, do_sample=True, top_p=0.95, temperature=0.2, repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(outputs[0]))device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
messages = [
{"role": "system", "content": "Create a text ad given the following product and description."},
{"role": "user", "content": "Product: Sony PS5 PlayStation Console\nDescription: The PS5 console unleashes new gaming possibilities that you never anticipated."},
]
text = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
inputs = tokenizer(text, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
outputs = model.generate(**inputs, max_new_tokens=128, do_sample=True, top_p=0.95, temperature=0.2, repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(outputs[0]))device = torch.accelerator.current_accelerator().type if hasattr(torch, "accelerator") else "cuda"
text = """Table: 2-11365528-2
Columns: ['Team', 'Head Coach', 'President', 'Home Ground', 'Location']
Natural Query: Who is the Head Coach of the team whose President is Mario Volarevic?
SQL Query:"""
inputs = tokenizer(text, return_tensors="pt")
inputs = {k: v.to(device) for k, v in inputs.items()}
outputs = model.generate(**inputs, max_new_tokens=64, repetition_penalty=1.1, eos_token_id=tokenizer("</s>").input_ids[-1])
print(tokenizer.decode(outputs[0]))Gộp các mô hình (IA)³
Các mô hình (IA)³ hỗ trợ gộp tuyến tính các adapter. Để gộp các adapter trong một mô hình (IA)³, hãy sử dụng phương thức add_weighted_adapter từ lớp IA3Model. Phương thức này tương tự như phương thức add_weighted_adapter được sử dụng trong LoraModel, với điểm khác biệt chính là không có tham số combination_type. Ví dụ, để gộp ba adapter (IA)³ vào một mô hình PEFT, bạn sẽ thực hiện như sau:
adapters = ["adapter1", "adapter2", "adapter3"]
weights = [0.4, 0.3, 0.3]
adapter_name = "merge"
model.add_weighted_adapter(adapters, weights, adapter_name)Khuyến nghị rằng tổng trọng số bằng 1.0 để giữ nguyên thang đo của mô hình. Sau đó, mô hình đã hợp nhất có thể được đặt làm mô hình hoạt động bằng phương thức set_adapter:
model.set_adapter("merge")