VLLMGenerator
vLLM OpenAI 호환 서버에 /v1/chat/completions 요청을 보내는 노드.
입력:
- connection (VLLM_CONNECTION): vLLMConnective 노드 출력 (여기서 모델도 이미 선택됨)
- system_prompt: 시스템 프롬프트 (role=system)
- prompt : USER 프롬프트 (role=user)
- image : 선택, 비전 언어 모델일 때만 사용 (IMAGE 타입)
- temperature, top_p
- max_tokens : 최대 생성 토큰 수
출력:
- text : Thinking 을 제거한 최종 답변
- thinking: Thinking (체인오브쏘트) 부분만 따로
Pilcothink/VLLM · 2 Eingaben · 6 Parameter · 2 Ausgaben