Accelerate documentation
مثال حديقة الحيوان
البدء
الدروس التعليمية
نظرة عامةأضِف Accelerate إلى كودكعملية التنفيذتدريب TPUإطلاق سكربتات Accelerateإطلاق التدريب الموزّع من كتيّبات Jupyter
أدلة الاستخدام
Accelerate
ابدأ من هنا!مقدّر ذاكرة النموذجتكميم النموذجمتتبعات التجاربأداة التحليلالتحقق من النقاطاستكشاف الأخطاءمثال حديقة الحيوان
التدريب
تراكم التدرجاتLocal SGDالتدريب بدقة منخفضة (FP8)DeepSpeedاستخدام عدة نماذج مع DeepSpeedخطافات اتصال DDPالتوازي الكامل للبيانات المجزأةMegatron-LMAmazon SageMakerوحدات معالجة الرسوميات Apple M1معالج IntelIntel Gaudiالتجميع
الاستدلال
المفاهيم والأساسيات
آلية Accelerate الداخليةتحميل النماذج الكبيرة في الذاكرةمقارنة الأداء عبر التكوينات الموزعةتنفيذ المهام وتأجيلهامزامنة التدرجاتFSDP مقابل DeepSpeedFSDP1 مقابل FSDP2التوازي السياقيالتوازي التسلسليطرق التدريب بدقة منخفضةالتدريب على وحدات TPU
مرجع
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
مثال حديقة الحيوان
تحتوي القائمة أدناه على قائمة غير شاملة من الشروحات والسكربتات التي تُبرز Accelerate.
أمثلة Accelerate الرسمية:
أمثلة أساسية
تُبرز هذه الأمثلة الميزات الأساسية لـ Accelerate وتُعد نقطة انطلاق رائعة
- مثال مبسط لمعالجة اللغة الطبيعية
- مثال مبسط لمعالجة اللغة الطبيعية الموزعة في دفتر Jupyter
- مثال بسيط لرؤية الحاسوب
- مثال مبسط لرؤية الحاسوب الموزعة في دفتر Jupyter
- استخدام Accelerate في Kaggle
أمثلة محددة لكل ميزة
تُبرز هذه الأمثلة ميزات محددة يوفرها إطار عمل Accelerate
- تراكم التدرجات الواعي بالذاكرة تلقائيًا
- حفظ حالات نقاط التفتيش
- التحقق المتقاطع
- DeepSpeed
- التوازي الكامل للبيانات المجزأة
- تراكم التدرجات
- محدد حجم الدفعة الواعي بالذاكرة
- حساب المقاييس
- استخدام المسارات
- استخدام Megatron-LM
أمثلة كاملة
تُظهر هذه الأمثلة كل ميزة في Accelerate دفعة واحدة، كما وُضحت في “أمثلة محددة لكل ميزة”
- مثال كامل لمعالجة اللغة الطبيعية
- مثال كامل لرؤية الحاسوب
- مثال كامل وقابل للتوسعة على نطاق واسع لرؤية الحاسوب، يُبرز استخدام SLURM وhydra، بالإضافة إلى استخدام قابل للتوسعة للغاية للإطار
- مثال على ضبط نموذج اللغة السببي
- مثال على ضبط نموذج اللغة المقنّع
- مثال على التدريب المسبق للكلام
- مثال على الضبط الدقيق للترجمة
- مثال على ضبط نموذج تصنيف النصوص
- مثال على الضبط الدقيق للتجزئة الدلالية
- مثال على الضبط الدقيق للإجابة على الأسئلة
- مثال على الضبط الدقيق للإجابة على الأسئلة باستخدام البحث الحزامي
- مثال على ضبط النموذج للإجابة على أسئلة الاختيار من متعدد
- مثال على ضبط النموذج الدقيق للتعرف على الكيانات المسمّاة
- مثال على ضبط نموذج تصنيف الصور
- مثال على الضبط الدقيق للتلخيص
- أمثلة شاملة من البداية إلى النهاية حول كيفية استخدام تكامل AWS SageMaker مع Accelerate
- أمثلة Megatron-LM لمهام معالجة اللغة الطبيعية المختلفة
أمثلة على التكامل
هذه شروحات من مكتبات تتكامل مع Accelerate:
هل لم تجد تكاملك هنا؟ أنشئ طلب سحب (PR) لإضافته!
Amphion
- تدريب نماذج تحويل النص إلى كلام باستخدام Amphion
- تدريب نماذج تحويل الصوت الغنائي باستخدام Amphion
- تدريب مُنشِّئات الصوت باستخدام Amphion
Catalyst
DALLE2-pytorch
Diffusers
fastai
GradsFlow
imagen-pytorch
Kornia
PyTorch المُسرَّع
PyTorch3D
Stable-Dreamfusion
Tez
trlx
Comfy-UI
في العلوم
تحتوي القائمة أدناه على قائمة غير شاملة للأوراق البحثية التي تستخدم Accelerate.
هل لم تجد بحثك هنا؟ أنشئ طلب سحب (PR) لإضافته!
- يوفال كيرستاين، آدم بولياك، يورييل زينغر، شاهبولاند ماتيانا، جو بينا، أومير ليفي: “بيك-أ-بيك: مجموعة بيانات مفتوحة لتفضيلات المستخدمين لتوليد الصور من النص”، 2023؛ arXiv:2305.01569.
- لي وانغ، وان يو شيو، ييهواي لان، تشي تشيانغ هو، يون شي لان، روي كا-وي لي، إي-بينغ ليم: “Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models”، 2023؛ arXiv:2305.04091.
- Arthur Câmara، Claudia Hauff: “Moving Stuff Around: A study on efficiency of moving documents into memory for Neural IR models”، 2022؛ arXiv:2205.08343.
- Ying Sheng, Lianmin Zheng, Binhang Yuan, Zhuohan Li, Max Ryabinin, Daniel Y. Fu, Zhiqiang Xie, Beidi Chen, Clark Barrett, Joseph E. Gonzalez, Percy Liang, Christopher Ré, Ion Stoica, Ce Zhang: “High-throughput Generative Inference of Large Language Models with a Single GPU”, 2023; arXiv:2303.06865.
- بيتر ميلشور، يان ليانغ، تشانغ هون هان، آندى غولدينغ: “ترميز طيف المجرات تلقائياً I: البنية المعمارية”، 2022؛ arXiv:2211.07890.
- جياو تشن، أستون تشانغ، مو لي، أليكس سمولو، ديي يانغ: “نموذج لغة انتشار أرخص وأفضل باستخدام الضوضاء المقنّعة ناعماً”، 2023؛ arXiv:2304.04746.
- آيان هاك، ماثيو تانسيك، أليكسي أ. إفروس، ألكساندر هولنسكي، أنجو كانازاوا: “Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions”، 2023؛ arXiv:2303.12789.
- لوك ميلاس-كيرياز، كريستيان روبريشت، إرو لاينا، أندريا فيدالدي: “RealFusion: إعادة بناء 360° لأي كائن من صورة واحدة”، 2023؛ arXiv:2302.10663.
- شياوشي وو، كيشيانغ صن، فنغ تشو، روي تشاو، هونغشنغ لي: “تحسين محاذاة نماذج النص إلى الصورة مع تفضيلات البشر”، 2023؛ arXiv:2303.14420.
- يونغ ليانغ شين، كاي تاو سونغ، شو تان، دونغ شينغ لي، وي مينغ لو، يويتينغ تشوانغ: “HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace”، 2023؛ arXiv:2303.17580.
- يوه يانغ، ونلين ياو، هونغمينغ تشانغ، شياويانغ وانغ، دونغ يو، جيانشو تشن: “Z-LaVI: Zero-Shot Language Solver Fueled by Visual Imagination”، 2022؛ arXiv:2210.12261.
- Sheng-Yen Chou, Pin-Yu Chen, Tsung-Yi Ho: “How to Backdoor Diffusion Models?”, 2022; arXiv:2212.05400.
- جون يونغ سو، ووسوك جانغ، مين-سيوب كواك، جيهون كو، هيونسو كيم، جونهو كيم، جين-هوا كيم، جي يونغ لي، سونغريونغ كيم: “دع نموذج الانتشار ثنائي الأبعاد يعرف الاتساق ثلاثي الأبعاد لتوليد نص إلى ثلاثي الأبعاد قوي”، 2023؛ arXiv:2303.07937.
- أور باتاشنيك، دانيال غاريبي، إيدان أزوري، هادار أفرابوخ-إيلور، دانيال كوهين-أور: “Localizing Object-level Shape Variations with Text-to-Image Diffusion Models”، 2023؛ arXiv:2303.11306.
- ديداك سوريس، ساشيت مينون، كارل فوندريك: “ViperGPT: Visual Inference via Python Execution for Reasoning”، 2023؛ arXiv:2303.08128.
- Chenyang Qi, Xiaodong Cun, Yong Zhang, Chenyang Lei, Xintao Wang, Ying Shan, Qifeng Chen: “FateZero: Fusing Attentions for Zero-shot Text-based Video Editing”، 2023؛ arXiv:2303.09535.
- سيان ويليك، جيا تشنغ ليو، شيمينغ لو، هاناناه هاجيشيرزي، ييجين تشوي: “NaturalProver: Grounded Mathematical Proof Generation with Language Models”، 2022؛ arXiv:2205.12910.
- إيلاد ريتشاردسون، غال ميتسر، يوفال ألالوف، راجا جيريس، دانيال كوهين-أور: “TEXTure: Text-Guided Texturing of 3D Shapes”، 2023؛ arXiv:2302.01721.
- Puijin Cheng, Li Lin, Yijin Huang, Huaqing He, Wenhan Luo, Xiaoying Tang: “Learning Enhancement From Degradation: A Diffusion Model For Fundus Image Enhancement”, 2023; arXiv:2303.04603.
- شون شياو، يفتاه زيسر، شاي كوهين: “Erasure of Unaligned Attributes from Neural Representations”، 2023؛ arXiv:2302.02997.
- Seonghyeon Ye, Hyeonbin Hwang, Sohee Yang, Hyeongu Yun, Yireun Kim, Minjoon Seo: “In-Context Instruction Learning”, 2023; arXiv:2302.14691.
- شيكون ليو، لينكسي فان، إدوارد جونز، تشيدنغ يو، تشاوي شياو، أنيماء أناندكومار: “بريزمر: نموذج رؤية-لغة مع مجموعة من الخبراء”، 2023؛ arXiv:2303.02506.
- هاويو تشن، تشيهوا وانغ، يانغ يانغ، تشيلين سون، كيد ما: “Learning a Deep Color Difference Metric for Photographic Images”، 2023؛ arXiv:2303.14964.
- فان-هوانغ لي، هونغيو تشانغ: “تحليل السجلات باستخدام التعلم القليل اللقطات القائم على الموجهات”، 2023؛ arXiv:2302.07435.
- Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui: “Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning؟”, 2023; arXiv:2302.07866.
- روياو وانغ، بيتر يانسن، مارك-ألكسندر كوتي، بريثفيراج أممانابرولو: “Behavior Cloned Transformers are Neurosymbolic Reasoners”، 2022؛ arXiv:2210.07382.
- مارتن ويسل، توماش هوريخ، تيري رواس، أكيكو آيزاوا، بيلا غيب، تيمو شبيندي: “تقديم MBIB — أول مهمة ومجموعة بيانات لمعايرة تحديد التحيز الإعلامي”، 2023؛ arXiv:2304.13148. DOI: [https://dx.doi.org/10.1145/3539618.3591882 10.1145/3539618.3591882].
- هلا شيفر، يوفال ألالوف، يائيل فينكر، ليور وولف، دانيال كوهين-أور: “Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models”، 2023؛ arXiv:2301.13826.
- مارسيو فونسيكا، يفتاه زيسر، شاي ب. كوهين: “تفكيك قرارات المحتوى والميزانية في التلخيص الاستخلاصي للمستندات الطويلة”، 2022؛ arXiv:2205.12486.
- إيلاد ريتشاردسون، غال ميتسر، يوفال ألالوف، راجا جيريس، دانيال كوهين-أور: “TEXTure: Text-Guided Texturing of 3D Shapes”، 2023؛ arXiv:2302.01721.
- Tianxing He, Jingyu Zhang, Tianle Wang, Sachin Kumar, Kyunghyun Cho, James Glass, Yulia Tsvetkov: “On the Blind Spots of Model-Based Evaluation Metrics for Text Generation”، 2022؛ arXiv:2212.10020.
- أوري رام، يوآف ليفين، إيتاي دالميديجوس، دور مولغاي، أمون شاشوا، كيفن لييتون براون، يوآف شوهام: “نماذج لغوية معززة بالاسترجاع في السياق” (In-Context Retrieval-Augmented Language Models)، 2023؛ arXiv:2302.00083.
- Dacheng Li, Rulin Shao, Hongyi Wang, Han Guo, Eric P. Xing, Hao Zhang: “MPCFormer: fast, performant and private Transformer inference with MPC”, 2022; arXiv:2211.01452.
- باولين بينغ، ميشيل غالي، بنغتشينغ هي، كريس بروكيت، لارس ليدن، إلناز نوري، تشو يو، بيل دولان، جيانفنغ غاو: “GODEL: Large-Scale Pre-Training for Goal-Directed Dialog”، 2022؛ arXiv:2206.11309.
- إيغيل رونينغستاد، إريك فيلدال، ليليا أوفريليد: “تحليل المشاعر على مستوى الكيانات (ELSA): مسح لمهمة استكشافية”، 2023، محاضرات المؤتمر الدولي التاسع والعشرين للغة الحاسوبية، 2022، الصفحات 6773-6783؛ arXiv:2304.14241.
- تشارلي سنييل، إيليا كوستريكوف، يي سو، منغياو يانغ، سيرغي ليفاين: “التعلم المعزز غير المتصل لتوليد اللغة الطبيعية باستخدام التعلم الضمني للغة Q”، 2022؛ arXiv:2206.11871.
- Zhiruo Wang, Shuyan Zhou, Daniel Fried, Graham Neubig: “Execution-Based Evaluation for Open-Domain Code Generation”، 2022؛ arXiv:2212.10481.
- Minh-Long Luu, Zeyi Huang, Eric P. Xing, Yong Jae Lee, Haohan Wang: “Expeditious Saliency-guided Mix-up through Random Gradient Thresholding”، 2022؛ arXiv:2212.04875.
- جون هاو ليو، هانشو يان، داكوان تشو، جياشي فنغ: “MagicMix: Semantic Mixing with Diffusion Models”، 2022؛ arXiv:2210.16056.
- يا تشينغ وانغ، سوبهابراتا موخيرجي، شياودونغ ليو، جينغ غاو، أحمد حسن عواد الله، جيانفنغ غاو: “LiST: Lite Prompted Self-training Makes Parameter-Efficient Few-shot Learners”، 2021؛ arXiv:2110.06274.