Accelerate documentation
Örnek Hayvanat Bahçesi
Başlangıç
Eğitimler
Genel BakışKodunuza Accelerate ekleyinÇalıştırma süreciTPU eğitimiAccelerate betiklerini başlatmaJupyter Defterlerinden Dağıtık Eğitimi Başlatma
Nasıl yapılır kılavuzları
Accelerate
Buradan Başlayın!Model bellek tahminleyicisiModel kuantizasyonuDeney izleyicileriProfil OluşturucuKontrol Noktası AlmaSorun GidermeÖrnek Hayvanat Bahçesi
Eğitim
Gradyan biriktirmeYerel SGDDüşük hassasiyetli (FP8) eğitimDeepSpeedDeepSpeed ile birden fazla model kullanmaDDP İletişim KancalarıTamamen Parçalı Veri ParalelliğiMegatron-LMAmazon SageMakerApple M1 GPU'larıIntel CPUIntel GaudiDerleme
Çıkarım
Kavramlar ve temeller
Accelerate'in dahili mekanizmasıBüyük modelleri belleğe yüklemeDağıtık kurulumlar arasında performans karşılaştırmasıİşleri çalıştırma ve ertelemeGradyan senkronizasyonuFSDP ve DeepSpeedFSDP1 ve FSDP2Bağlam paralelliğiDizi paralelliğiDüşük hassasiyetli eğitim yöntemleriTPU'lar üzerinde eğitim
Referans
HızlandırıcıDurumlu sınıflarKomut SatırıDataLoader'lar, Optimizer'lar, Scheduler'larDeneysel izleyicilerBaşlatıcılarDeepSpeed yardımcı programlarıKayıt TutmaBüyük modellerle çalışmaKwargs işleyicileriFP8Yardımcı işlevler ve sınıflarMegatron-LM yardımcı programlarıTamamen Parçalı Veri Paralelliği yardımcı programları
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Örnek Hayvanat Bahçesi
Aşağıda, Accelerate'yi tanıtan kapsamlı olmayan bir dizi eğitim ve betik listesi yer almaktadır.
Resmî Accelerate Örnekleri:
Temel Örnekler
Bu örnekler, Accelerate'in temel özelliklerini sergiler ve harika bir başlangıç noktasıdır
- Sadece temel NLP örneği
- Jupyter Notebook'ta temel dağıtık NLP örneği
- Temel bilgisayarla görme örneği
- Jupyter Notebook'ta temel dağıtık bilgisayarlı görme örneği
- Kaggle'da Accelerate Kullanımı
Özellik Bazlı Örnekler
Bu örnekler, Accelerate çerçevesinin sunduğu belirli özellikleri sergilemektedir
- Otomatik bellek duyarlı gradyan biriktirme
- Durumların kontrol noktası alınması
- Çapraz doğrulama
- DeepSpeed
- Tamamen Parçalı Veri Paralelliği
- Gradyan biriktirme
- Bellek duyarlı parti boyutu bulucu
- Metrik Hesaplama
- İzleyicileri Kullanma
- Megatron-LM Kullanımı
Tam Örnekler
Bu örnekler, “Özellik Bazlı Örnekler” bölümünde gösterilen Accelerate özelliklerinin tamamını tek seferde sergiler.
- Tam NLP örneği
- Tamamlanmış bilgisayarla görme örneği
- SLURM, hydra ve framework'ün son derece genişletilebilir kullanımını sergileyen, son derece eksiksiz ve genişletilebilir bir görsele işleme örneği
- Nedensel dil modeli ince ayar örneği
- Masked dil modeli ince ayar örneği
- Ses ön eğitimi örneği
- Çeviri ince ayar örneği
- Metin sınıflandırma ince ayar örneği
- Anlamsal segmentasyon ince ayar örneği
- Soru yanıtlama ince ayar örneği
- Beam search soru cevaplama ince ayar örneği
- Çoktan seçmeli soru yanıtlama ince ayar örneği
- Adlandırılmış varlık tanıma ince ayar örneği
- Görsel sınıflandırma ince ayar örneği
- Özetleme ince ayar örneği
- Accelerate'in AWS SageMaker entegrasyonunun nasıl kullanılacağına dair uçtan uca örnekler
- Çeşitli NLP görevleri için Megatron-LM örnekleri
Entegrasyon Örnekleri
Bunlar, Accelerate ile entegre olan kütüphanelerden gelen eğitimlerdir:
Burada entegrasyonunuzu bulamıyor musunuz? Onu dahil etmek için bir PR açın!
Amphion
- Amphion ile Metinden Konuşma Modelleri Eğitimi
- Amphion ile Şarkı Sesi Dönüştürme Modelleri Eğitimi
- Amphion ile Vokoder Eğitimi
Catalyst
DALLE2-pytorch
Diffusers
- Diffusers ile metinsel ters çevirme (textual inversion) gerçekleştirme
- diffusers ile DreamBooth eğitimi
fastai
GradsFlow
imagen-pytorch
Kornia
Hızlandırılmış PyTorch
PyTorch3D
Stable-Dreamfusion
Tez
trlx
Comfy-UI
Bilimde
Aşağıda, Accelerate kullanan makalelerin tükenmez bir listesi yer almaktadır.
Burada makalenizi bulamıyor musunuz? Dahil etmek için bir PR açın!
- Yuval Kirstain, Adam Polyak, Uriel Singer, Shahbuland Matiana, Joe Penna, Omer Levy: “Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation”, 2023; arXiv:2305.01569.
- Lei Wang, Wanyu Xu, Yihuai Lan, Zhiqiang Hu, Yunshi Lan, Roy Ka-Wei Lee, Ee-Peng Lim: “Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models”, 2023; arXiv:2305.04091.
- Arthur Câmara, Claudia Hauff: “Moving Stuff Around: A study on efficiency of moving documents into memory for Neural IR models”, 2022; arXiv:2205.08343.
- Ying Sheng, Lianmin Zheng, Binhang Yuan, Zhuohan Li, Max Ryabinin, Daniel Y. Fu, Zhiqiang Xie, Beidi Chen, Clark Barrett, Joseph E. Gonzalez, Percy Liang, Christopher Ré, Ion Stoica, Ce Zhang: “Tek GPU ile Büyük Dil Modellerinin Yüksek Geçirgenlikli Üretken Çıkarımı”, 2023; arXiv:2303.06865.
- Peter Melchior, Yan Liang, ChangHoon Hahn, Andy Goulding: “Autoencoding Galaxy Spectra I: Architecture”, 2022; arXiv:2211.07890.
- Jiaao Chen, Aston Zhang, Mu Li, Alex Smola, Diyi Yang: “A Cheaper and Better Diffusion Language Model with Soft-Masked Noise”, 2023; arXiv:2304.04746.
- Ayaan Haque, Matthew Tancik, Alexei A. Efros, Aleksander Holynski, Angjoo Kanazawa: “Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions”, 2023; arXiv:2303.12789.
- Luke Melas-Kyriazi, Christian Rupprecht, Iro Laina, Andrea Vedaldi: “RealFusion: 360° Reconstruction of Any Object from a Single Image”, 2023; arXiv:2302.10663.
- Xiaoshi Wu, Keqiang Sun, Feng Zhu, Rui Zhao, Hongsheng Li: “Better Aligning Text-to-Image Models with Human Preference”, 2023; arXiv:2303.14420.
- Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu, Yueting Zhuang: “HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace”, 2023; arXiv:2303.17580.
- Yue Yang, Wenlin Yao, Hongming Zhang, Xiaoyang Wang, Dong Yu, Jianshu Chen: “Z-LaVI: Zero-Shot Language Solver Fueled by Visual Imagination”, 2022; arXiv:2210.12261.
- Sheng-Yen Chou, Pin-Yu Chen, Tsung-Yi Ho: “How to Backdoor Diffusion Models?”, 2022; arXiv:2212.05400.
- Junyoung Seo, Wooseok Jang, Min-Seop Kwak, Jaehoon Ko, Hyeonsu Kim, Junho Kim, Jin-Hwa Kim, Jiyoung Lee, Seungryong Kim: “Let 2D Diffusion Model Know 3D-Consistency for Robust Text-to-3D Generation”, 2023; arXiv:2303.07937.
- Or Patashnik, Daniel Garibi, Idan Azuri, Hadar Averbuch-Elor, Daniel Cohen-Or: “Localizing Object-level Shape Variations with Text-to-Image Diffusion Models”, 2023; arXiv:2303.11306.
- Dídac Surís, Sachit Menon, Carl Vondrick: “ViperGPT: Visual Inference via Python Execution for Reasoning”, 2023; arXiv:2303.08128.
- Chenyang Qi, Xiaodong Cun, Yong Zhang, Chenyang Lei, Xintao Wang, Ying Shan, Qifeng Chen: “FateZero: Fusing Attentions for Zero-shot Text-based Video Editing”, 2023; arXiv:2303.09535.
- Sean Welleck, Jiacheng Liu, Ximing Lu, Hannaneh Hajishirzi, Yejin Choi: “NaturalProver: Dil Modelleriyle Temellendirilmiş Matematiksel Kanıt Üretimi”, 2022; arXiv:2205.12910.
- Elad Richardson, Gal Metzer, Yuval Alaluf, Raja Giryes, Daniel Cohen-Or: “TEXTure: Text-Guided Texturing of 3D Shapes”, 2023; arXiv:2302.01721.
- Puijin Cheng, Li Lin, Yijin Huang, Huaqing He, Wenhan Luo, Xiaoying Tang: “Learning Enhancement From Degradation: A Diffusion Model For Fundus Image Enhancement”, 2023; arXiv:2303.04603.
- Shun Shao, Yftah Ziser, Shay Cohen: “Erasure of Unaligned Attributes from Neural Representations”, 2023; arXiv:2302.02997.
- Seonghyeon Ye, Hyeonbin Hwang, Sohee Yang, Hyeongu Yun, Yireun Kim, Minjoon Seo: “In-Context Instruction Learning”, 2023; arXiv:2302.14691.
- Shikun Liu, Linxi Fan, Edward Johns, Zhiding Yu, Chaowei Xiao, Anima Anandkumar: “Prismer: A Vision-Language Model with An Ensemble of Experts”, 2023; arXiv:2303.02506.
- Haoyu Chen, Zhihua Wang, Yang Yang, Qilin Sun, Kede Ma: “Learning a Deep Color Difference Metric for Photographic Images”, 2023; arXiv:2303.14964.
- Van-Hoang Le, Hongyu Zhang: “Log Parsing with Prompt-based Few-shot Learning”, 2023; arXiv:2302.07435.
- Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui: “Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?”, 2023; arXiv:2302.07866.
- Ruoyao Wang, Peter Jansen, Marc-Alexandre Côté, Prithviraj Ammanabrolu: “Behavior Cloned Transformers are Neurosymbolic Reasoners”, 2022; arXiv:2210.07382.
- Martin Wessel, Tomáš Horych, Terry Ruas, Akiko Aizawa, Bela Gipp, Timo Spinde: “Introducing MBIB — the first Media Bias Identification Benchmark Task and Dataset Collection”, 2023; arXiv:2304.13148. DOI: [https://dx.doi.org/10.1145/3539618.3591882 10.1145/3539618.3591882].
- Hila Chefer, Yuval Alaluf, Yael Vinker, Lior Wolf, Daniel Cohen-Or: “Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models”, 2023; arXiv:2301.13826.
- Marcio Fonseca, Yftah Ziser, Shay B. Cohen: “Uzun Belgelerin Özetlenmesinde İçerik ve Bütçe Kararlarını Faktörize Etme”, 2022; arXiv:2205.12486.
- Elad Richardson, Gal Metzer, Yuval Alaluf, Raja Giryes, Daniel Cohen-Or: “TEXTure: Text-Guided Texturing of 3D Shapes”, 2023; arXiv:2302.01721.
- Tianxing He, Jingyu Zhang, Tianle Wang, Sachin Kumar, Kyunghyun Cho, James Glass, Yulia Tsvetkov: “On the Blind Spots of Model-Based Evaluation Metrics for Text Generation”, 2022; arXiv:2212.10020.
- Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua, Kevin Leyton-Brown, Yoav Shoham: “In-Context Retrieval-Augmented Language Models”, 2023; arXiv:2302.00083.
- Dacheng Li, Rulin Shao, Hongyi Wang, Han Guo, Eric P. Xing, Hao Zhang: “MPCFormer: fast, performant and private Transformer inference with MPC”, 2022; arXiv:2211.01452.
- Baolin Peng, Michel Galley, Pengcheng He, Chris Brockett, Lars Liden, Elnaz Nouri, Zhou Yu, Bill Dolan, Jianfeng Gao: “GODEL: Large-Scale Pre-Training for Goal-Directed Dialog”, 2022; arXiv:2206.11309.
- Egil Rønningstad, Erik Velldal, Lilja Øvrelid: “Entity-Level Sentiment Analysis (ELSA): An exploratory task survey”, 2023, Proceedings of the 29th International Conference on Computational Linguistics, 2022, pages 6773-6783; arXiv:2304.14241.
- Charlie Snell, Ilya Kostrikov, Yi Su, Mengjiao Yang, Sergey Levine: “Offline RL for Natural Language Generation with Implicit Language Q Learning”, 2022; arXiv:2206.11871.
- Zhiruo Wang, Shuyan Zhou, Daniel Fried, Graham Neubig: “Execution-Based Evaluation for Open-Domain Code Generation”, 2022; arXiv:2212.10481.
- Minh-Long Luu, Zeyi Huang, Eric P. Xing, Yong Jae Lee, Haohan Wang: “Expeditious Saliency-guided Mix-up through Random Gradient Thresholding”, 2022; arXiv:2212.04875.
- Jun Hao Liew, Hanshu Yan, Daquan Zhou, Jiashi Feng: “MagicMix: Semantic Mixing with Diffusion Models”, 2022; arXiv:2210.16056.
- Yaqing Wang, Subhabrata Mukherjee, Xiaodong Liu, Jing Gao, Ahmed Hassan Awadallah, Jianfeng Gao: “LiST: Lite Prompted Self-training Makes Parameter-Efficient Few-shot Learners”, 2021; arXiv:2110.06274.