Interface : TextGenerationStreamDetails

Propriétés

meilleures _ des _ séquences

• Optional best_of_sequences : TextGenerationStreamBestOfSequence[]

Séquences supplémentaires lors de l'utilisation du paramètre best_of

Défini dans

inference/src/tasks/nlp/textGenerationStream.ts:68

---

fin _ raison

• finish_reason : TextGenerationStreamFinishReason

Raison de fin de génération

Défini dans

inference/src/tasks/nlp/textGenerationStream.ts:58

---

jetons générés

• generated_tokens : number

Nombre de jetons générés

Défini dans

inference/src/tasks/nlp/textGenerationStream.ts:60

---

prefill

• préremplissage : TextGenerationStreamPrefillToken[]

Jetons de prompt

Défini dans

inference/src/tasks/nlp/textGenerationStream.ts:64

---

seed

• Optional seed : number

Graine d'échantillonnage si l'échantillonnage a été activé

Défini dans

inference/src/tasks/nlp/textGenerationStream.ts:62

---

tokens

• jets : TextGenerationStreamToken[]

Défini dans

inference/src/tasks/nlp/textGenerationStream.ts:66

Update on GitHub