인터페이스: TextGenerationStreamDetails

속성

시퀀스 중 최고

• Optional best_of_sequences: TextGenerationStreamBestOfSequence[]

best_of 매개변수를 사용할 때 추가 시퀀스

정의 위치

inference/src/tasks/nlp/textGenerationStream.ts:68

---

finish _ reason

• finish_reason: TextGenerationStreamFinishReason

생성 종료 이유

정의 위치

inference/src/tasks/nlp/textGenerationStream.ts:58

---

생성된 _ 토큰

• generated_tokens: number

생성된 토큰 수

정의 위치

inference/src/tasks/nlp/textGenerationStream.ts:60

---

prefill

• prefill: TextGenerationStreamPrefillToken[]

프롬프트 토큰

정의 위치

inference/src/tasks/nlp/textGenerationStream.ts:64

---

seed

• Optional seed: number

샘플링이 활성화된 경우 샘플링 시드

정의 위치

inference/src/tasks/nlp/textGenerationStream.ts:62

---

토큰

• 토큰: TextGenerationStreamToken[]

정의 위치

inference/src/tasks/nlp/textGenerationStream.ts:66

Update on GitHub