Arayüz: ModelConfig

Özellikler

expert _ dtype

• Optional expert_dtype: string

Bazı MoE'ler, uzmanlarını modelin geri kalanından daha dar bir hassasiyette saklar ve bunu quantization_config dışında, burada bildirir (ör. DeepSeek-V4). Kuantizasyon yapılandırması kendi expert_dtype'ini bildirmiyorsa (DeepSeek-V4.1'in yaptığı gibi) yedek olarak kullanılır.

Tanımlandığı yer

packages/hub/src/lib/parse-safetensors-metadata.ts:968

---

quantization

• Optional kuantizasyon: MlxQuantizationConfig

Modül adına göre anahtarlanan isteğe bağlı modül bazlı geçersiz kılma ayarlarıyla birlikte mevcut MLX biçimi.

Tanımlandığı yer

packages/hub/src/lib/parse-safetensors-metadata.ts:960

---

quantization _ config

• Optional quantization_config: QuantizationConfig | MlxQuantizationConfig

Tanımlandığı yer

packages/hub/src/lib/parse-safetensors-metadata.ts:961

---

metin _ yapılandırma

• Optional text_config: Pick<ModelConfig, "expert_dtype" | "quantization" | "quantization_config">

Tanımlandığı yer

packages/hub/src/lib/parse-safetensors-metadata.ts:962

Update on GitHub