Accelerate

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.15.0).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Cài đặt

Trước khi bắt đầu, bạn cần thiết lập môi trường, cài đặt các gói phù hợp và cấu hình Accelerate. Accelerate được kiểm thử trên Python 3.11+.

Accelerate có sẵn trên pypi và conda, cũng như trên GitHub. Chi tiết cài đặt từ từng nguồn như sau:

pip

Để cài đặt Accelerate từ pypi, hãy thực hiện:

pip install accelerate

conda

Accelerate cũng có thể được cài đặt bằng conda với:

conda install -c conda-forge accelerate

Nguồn

Các tính năng mới được thêm vào mỗi ngày và chưa được phát hành. Để tự mình thử nghiệm, hãy cài đặt từ kho GitHub:

pip install git+https://github.com/huggingface/accelerate

Nếu bạn đang làm việc để đóng góp cho thư viện hoặc muốn thử nghiệm với mã nguồn và xem kết quả trực tiếp khi chạy mã, bạn có thể cài đặt phiên bản có thể chỉnh sửa từ một bản sao cục bộ của kho mã:

git clone https://github.com/huggingface/accelerate
cd accelerate
pip install -e .

Cấu hình

Sau khi cài đặt, bạn cần cấu hình Accelerate cho cách hệ thống hiện tại được thiết lập để huấn luyện. Để làm điều này, hãy chạy lệnh sau và trả lời các câu hỏi được đưa ra:

accelerate config

Để viết một cấu hình tối giản không bao gồm các tùy chọn như cấu hình DeepSpeed hoặc chạy trên TPU, bạn có thể chạy nhanh:

python -c "from accelerate.utils import write_basic_config; write_basic_config(mixed_precision='fp16')"

Accelerate sẽ tự động sử dụng số lượng GPU tối đa khả dụng và thiết lập chế độ độ chính xác hỗn hợp.

Để kiểm tra xem cấu hình của bạn có ổn không, hãy chạy:

accelerate env

Một ví dụ về kết quả đầu ra được hiển thị bên dưới, mô tả hai GPU trên một máy duy nhất mà không sử dụng độ chính xác hỗn hợp:

- `Accelerate` version: 1.2.0.dev0
- Platform: Linux-6.8.0-47-generic-x86_64-with-glibc2.35
- `accelerate` bash location: /home/zach/miniconda3/envs/accelerate/bin/accelerate
- Python version: 3.10.13
- Numpy version: 1.26.4
- PyTorch version (GPU?): 2.5.1+cu124 (True)
- PyTorch XPU available: False
- PyTorch NPU available: False
- PyTorch MLU available: False
- PyTorch MUSA available: False
- System RAM: 187.91 GB
- GPU type: NVIDIA GeForce RTX 4090
- `Accelerate` default config:
        - compute_environment: LOCAL_MACHINE
        - distributed_type: MULTI_GPU
        - mixed_precision: no
        - use_cpu: False
        - debug: False
        - num_processes: 2
        - machine_rank: 0
        - num_machines: 1
        - gpu_ids: all
        - rdzv_backend: static
        - same_network: True
        - main_training_function: main
        - enable_cpu_affinity: False
        - downcast_bf16: no
        - tpu_use_cluster: False
        - tpu_use_sudo: False
        - tpu_env: []

Update on GitHub

←🤗 Accelerate Tham quan nhanh→