Huggingface.js documentation
インターフェース: MlxQuantizationConfig
インターフェース: MlxQuantizationConfig
階層
-
↳
MlxQuantizationConfig
インデックス可能
▪ [キー: string]: unknown
プロパティ
ビット
• Optional bits: number
継承元
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ groups
• Optional config_groups: Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
継承元
QuantizationConfigのconfig_groups
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:935
expert _ dtype
• Optional expert_dtype: string
メインの量子化器と異なる場合のルーティングされたエキスパートの精度（例：FP8アテンションを持つFP4エキスパート）。
継承元
QuantizationConfigのexpert_dtype
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:920
形式
• Optional format: string
継承元
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:934
group _ size
• Optional group_size: number
継承元
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:928
ignore
• Optional ignore: string[]
compressed-tensors は除外リストを modules_to_not_convert ではなく ignore と呼び、config_groups[].targets と同じ re: プレフィックス付きのターゲット構文を使用します。
継承元
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load _ in _ 4bit
• Optional load_in_4bit: boolean
継承元
QuantizationConfigのload_in_4bit
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• Optional load_in_8bit: boolean
継承元
QuantizationConfigのload_in_8bit
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:932
mode
• Optional mode: string
MLXの量子化モード（例: affine）。MLXの設定ではquant_methodは宣言されていません。
継承元
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:927
modules _ to _ not _ convert
• Optional modules_to_not_convert: string[]
継承元
QuantizationConfigのmodules_to_not_convert
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant _ algo
• Optional quant_algo: string
NVIDIA ModelOpt(quant_method: "modelopt")アルゴリズム、例えば"NVFP4"、"W4A16_NVFP4"、"FP8"、または"MIXED_PRECISION"。この場合、モジュールごとのアルゴリズムはquantized_layersにあります。
継承元
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant _ method
• Optional quant_method: string
継承元
QuantizationConfigのquant_method
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:918
量子化されたレイヤー
• Optional quantized_layers: Record<string, { quant_algo?: string }>
ModelOptの混合精度: モジュール名（または親モジュール、例: …mlp.experts）-> そのアルゴリズム。
継承元
QuantizationConfigのquantized_layers
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:947
store _ dtype
• Optional store_dtype: string
expert_dtype と同じ役割を別の名前で果たします: MiMo-V2.6 は、dense 層に対して quant_method: "fp8" を使用していますが、ルーティングされたエキスパートは store_dtype: "mxfp4" として、U8 1つあたり2つずつパックして保存されます。
継承元
QuantizationConfigのstore_dtype
定義場所
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub