Accelerate documentation
Ikhtisar
Memulai
Tutorial
IkhtisarTambahkan Accelerate ke kode AndaProses eksekusiPelatihan TPUMeluncurkan skrip AccelerateMeluncurkan pelatihan terdistribusi dari Jupyter Notebooks
Panduan cara
Accelerate
Mulai di Sini!Perkiraan memori modelKuantisasi modelPelacak eksperimenProfilerCheckpointingPemecahan masalahContoh Zoo
Pelatihan
Akselerasi gradienLocal SGDPelatihan presisi rendah (FP8)DeepSpeedMenggunakan beberapa model dengan DeepSpeedHook Komunikasi DDPFully Sharded Data ParallelMegatron-LMAmazon SageMakerGPU Apple M1Intel CPUIntel GaudiKompilasi
Inferensi
Konsep dan dasar-dasar
Mekanisme internal AccelerateMemuat model besar ke dalam memoriMembandingkan kinerja di antara konfigurasi terdistribusiMenjalankan dan menunda tugasSinkronisasi gradienFSDP vs DeepSpeedFSDP1 vs FSDP2Paralelisme konteksParalelisme urutanMetode pelatihan presisi rendahPelatihan pada TPU
Referensi
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Ikhtisar
Selamat datang di tutorial Accelerate! Panduan pengantar ini akan membantu Anda memahami cara kerja dengan Accelerate. Anda akan belajar cara memodifikasi kode agar dapat bekerja dengan mulus menggunakan API, cara menjalankan skrip dengan benar, dan masih banyak lagi!
Tutorial ini mengasumsikan pengetahuan dasar tentang Python dan keakraban dengan kerangka kerja PyTorch.
Jika Anda memiliki pertanyaan tentang Accelerate, silakan bergabung dan bertanya kepada komunitas di forum kami.
Update on GitHub