# Intel Gaudi

Intel Gaudi hızlandırıcıları, `hpu` cihaz dizesiyle [Intel Gaudi](https://docs.habana.ai/en/latest/index.html) yığını üzerinde PyTorch çalıştırır. Gaudi, PyTorch'u varsayılan olarak aceleci (eager) modda çalıştırır. Aceleci mod, her işlemi çağrıldığı anda çalıştırır; bu da PyTorch'un CPU veya GPU üzerinde çalıştığıyla aynıdır. Bu nedenle Transformers modelleri, Gaudi'ye özgü değişiklikler gerektirmeden Gaudi üzerinde çalışır. Modeli bir grafa almak isterseniz, `torch.compile` ile [derleyin](#compile-the-model).

## Kurulum

Intel Gaudi yazılımını ve PyTorch paketini (`habana-torch-plugin`, `habana_frameworks` olarak içe aktarılır) [Intel Gaudi kurulum kılavuzu](https://docs.habana.ai/en/latest/Installation_Guide/index.html) ile, ayrıca [Accelerate](https://huggingface.co/docs/accelerate/index) 1.5.0 veya daha yeni bir sürümle yükleyin.

Transformers, token kimlikleri için int64 tensörler kullandığından Gaudi üzerinde int64 desteğini etkinleştirin. Transformers'ın Gaudi CI'si aynı ayar ile çalışır.

```bash
export PT_ENABLE_INT64_SUPPORT=1
```

Transformers'ın cihazı görebildiğinden emin olun.

```py
from transformers import is_torch_hpu_available

print(is_torch_hpu_available())
```

Gaudi kullanıma hazır olduğunda `True`, 1.5.0'tan eski bir Accelerate sürümünde ise Gaudi cihazı mevcut olsa bile `False` basar.

## Cihazları seçin

Bir Docker konteynerini başlattığınızda, konteynerin hangi Gaudi cihazlarını kullanabileceğini seçin. Modül kimliklerini belirtmek için `HABANA_VISIBLE_MODULES` değişkenini ayarlayın; bu kimlikler yeniden başlatma ve sürücü yeniden kurulumlarında aynı kalır. Alternatif olarak, değişebilen cihaz dizinlerini belirtmek için `HABANA_VISIBLE_DEVICES` değişkenini ayarlayın. Hiçbiri ayarlanmazsa, PyTorch sunucudaki kullanılabilir herhangi bir Gaudi cihazını kullanır.

```bash
docker run --runtime=habana -e HABANA_VISIBLE_MODULES=0,1,2,3 ...
```

Aygıt dizinlerini modül kimliklerine eşlemek için `hl-smi -Q index,module_id -f csv` komutunu çalıştırın. Bir sunucunun bir kısmında dağıtık bir iş yükü için Intel yalnızca 2 aygıtlık ve 4 aygıtlık grupları destekler. Desteklenen modül kimliği kombinasyonları için [Her biri tek bir iş yüküne sahip birden fazla Docker](https://docs.habana.ai/en/latest/Orchestration/Multiple_Tenants_on_HPU/Multiple_Dockers_each_with_Single_Workload.html) bölümüne bakın.

## Çıkarım çalıştır

`device_map="hpu"` değerini [from_pretrained()](/docs/transformers/main/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) fonksiyonuna iletin. `device` parametresini iletmediğinizde [pipeline()](/docs/transformers/main/tr/main_classes/pipelines#transformers.pipeline) Gaudi'yi otomatik olarak seçer.

```py
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", device_map="hpu")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")

inputs = tokenizer("Intel Gaudi is", return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=50, do_sample=False)
print(tokenizer.decode(output[0], skip_special_tokens=True))
```

## Modelleri kuantize et

[bitsandbytes](./quantization/bitsandbytes), Gaudi 2 ve Gaudi 3 üzerinde modelleri 4 veya 8 bit'e indirger. `device_map` parametresini iletmezseniz, modeli mevcut Gaudi cihazına yerleştirir.

Tek bir cihaza sığmayan bir modeli ince ayar yapmak için, modeli bitsandbytes ile 4-bit olarak yükleyin ve [PEFT](./peft) ile LoRA adaptörlerini eğitin.

## Trainer ile Eğitim

[TrainingArguments](/docs/transformers/main/tr/main_classes/trainer#transformers.TrainingArguments), Gaudi'yi algılar ve cihazı `hpu` olarak ayarlar; bu sayede `Trainer`, herhangi bir cihaz ayarı gerektirmeden üzerinde eğitim yapar. Tüm Gaudi nesilleri bf16'yi destekler.

```py
from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="./outputs",
    bf16=True,
)
print(training_args.device)
```

`Trainer` Gaudi üzerinde eğitim yapacaksa `hpu` cihazını yazdırır.

## Modeli derle

Transformers, Gaudi üzerinde `torch.compile` işlevini sarmalar; bu nedenle `hpu_backend` veya `eager` dışında bir arka uçla yapılan herhangi bir çağrı, modelleme kodundaki `@torch.compile` dekoratörü dahil, `hpu_backend` olarak değiştirilir ve bir uyarı günlüğe kaydedilir. Bu sarmalayıcı, çıkarım veya eğitim olsun, her `torch.compile` çağrısına uygulanır.

Bir modeli eğitim için derlemek için [TrainingArguments](/docs/transformers/main/tr/main_classes/trainer#transformers.TrainingArguments) içinde `torch_compile=True` değerini ayarlayın; bu, `torch_compile_backend` değerini `"hpu_backend"` olarak belirler.

```py
from transformers import TrainingArguments

training_args = TrainingArguments(
    output_dir="./outputs",
    bf16=True,
    torch_compile=True,
)
```

### Dağıtık eğitim

Dağıtık eğitim, [HCCL](https://docs.habana.ai/en/latest/API_Reference_Guides/HCCL_APIs/index.html) kolektif arka ucunu kullanır. Transformers, Gaudi üzerinde bunu seçer ve ayrıca `ddp_backend="hccl"` ile açıkça ayarlayabilirsiniz.

```py
training_args = TrainingArguments(
    output_dir="./outputs",
    bf16=True,
    ddp_backend="hccl",
)
```

[cihazları seçtikten](#select-devices) sonra, `torchrun` veya `accelerate launch` ile her Gaudi cihazı için bir süreç başlatın. `accelerate launch`, `--num_processes` parametresini iletmediğinizde süreç sayısını Gaudi cihazlarının sayısına ayarlar.

```bash
accelerate launch train.py
```

## Sonraki adımlar

- Donanım ayrıntıları, yazılım yığını ve [Gaudi mimarisi](https://docs.habana.ai/en/latest/Gaudi_Overview/Gaudi_Architecture.html) için [Intel Gaudi belgelerini](https://docs.habana.ai/en/latest/index.html) okuyun.
- Eğitim ve çıkarım için Gaudi-optimize model uygulamalarını denemek üzere [Optimum for Intel Gaudi](https://huggingface.co/docs/optimum-habana/index)'yi deneyin.

