Model bellek tahminleyicisi

Makinenizde kullanmak için potansiyel modelleri araştırırken, mevcut cihazınızda (örneğin modeli CUDA veya XPU üzerine yüklerken) belleğe sığacak modelin ne kadar büyük olabileceğini bilmek son derece zor bir konudur.

Bu sorunu hafifletmek için Accelerate, accelerate estimate-memory üzerinden bir CLI arayüzü sunar. Bu öğretici, bu aracın nasıl kullanılacağını, neler beklemeniz gerektiğini adım adım anlatır ve sonunda Hub üzerinde barındırılan interaktif demo'ya bağlantı verir; bu demo sayesinde sonuçları doğrudan model deposuna da paylaşabilirsiniz!

Şu anda timm ve transformers içinde kullanılabilen modelleri aramayı destekliyoruz.

Bu API, modeli meta cihazına yükler; bu nedenle modelin tam ağırlıklarını gerçekten indirip belleğe yüklemiyoruz ve buna da gerek yok. Sonuç olarak, CPU'nuzun bunu kaldırıp kaldıramayacağından endişe etmeden 8 milyar parametreli (veya daha fazla) modelleri ölçebilirsiniz!

Gradio Demoları

Aşağıda, yukarıda açıklanan konuyla ilgili birkaç gradio demosu bulunmaktadır. İlk demo, Accelerate'i doğrudan kullanan resmi Hugging Face bellek tahmini alanıdır:

Bir topluluk üyesi bu fikri alarak daha da ileriye taşıdı; böylece modelleri doğrudan filtreleyebilir ve GPU kısıtlamaları ile LoRA yapılandırmaları göz önüne alındığında belirli bir LLM'i çalıştırıp çalıştıramayacağınızı görebilirsiniz. Denemek için daha fazla ayrıntı için buraya bakın.

Komut

accelerate estimate-memory kullanırken, kullanmak istediğiniz modelin adını, (otomatik olarak bulunamıyorsa) o modelin kullandığı framework'ü ve modelin hangi veri tipleriyle yükleneceğini belirtmeniz gerekir.

Örneğin, bert-base-cased için bellek ayak izini nasıl hesaplayabileceğimiz aşağıda gösterilmektedir:

accelerate estimate-memory bert-base-cased

Bu işlem, bert-based-cased için config.json dosyasını indirir, modeli meta cihazında yükler ve ne kadar alan kullanacağını raporlar:

bert-base-cased yüklemek için Bellek Kullanımı:

Varsayılan olarak desteklenen tüm dtypes'leri (int4 ile float32 arası) döndürür, ancak belirli olanlarla ilgileniyorsanız bunlar filtrelenebilir.

Belirli kütüphaneler

Kaynak kitaplığı otomatik olarak belirlenemiyorsa (bert-base-cased durumunda olduğu gibi), bir kitaplık adı geçirilebilir.

accelerate estimate-memory HuggingFaceM4/idefics-80b-instruct --library_name transformers

HuggingFaceM4/idefics-80b-instruct yüklemek için Bellek Kullanımı:

accelerate estimate-memory timm/resnet50.a1_in1k --library_name timm

timm/resnet50.a1_in1k yüklemek için Bellek Kullanımı:

Belirli dtypes

Daha önce belirtildiği gibi, varsayılan olarak int4 ile float32 arasında döndürme yapılırken, float32, float16, int8 ve int4 dahil olmak üzere herhangi bir dtype kullanılabilir.

Bunu yapmak için, --dtypes belirttikten sonra bunları iletin:

accelerate estimate-memory bert-base-cased --dtypes float32 float16

bert-base-cased yüklemek için Bellek Kullanımı:

Bu hesaplayıcıyla ilgili uyarılar

Bu hesaplayıcı, modelin yalnızca yüklenmesi için gereken bellek miktarını, çıkarım yapılması için değil, size bildirir.

Bu hesaplama, gerçek değerin birkaç %'i kadar hassasiyete sahiptir, bu nedenle ne kadar bellek gerektireceğine dair çok iyi bir fikir verir. Örneğin, bert-base-cased tam hassasiyette CUDA üzerinde yüklendiğinde gerçekten 413.68 MB yer kaplar ve hesaplayıcı 413.18 MB tahmin eder.

Çıkarım (inference) sırasında, EleutherAI'nin bulduğu gibi, ek olarak %20'ye kadar bir artış bekleyebilirsiniz. Bu değerler için daha doğru bir tahmin bulmak üzere araştırma yapacağız ve bu işlem tamamlandığında bu hesaplayıcıyı güncelleyeceğiz.