1 건

#production

vLLM v0.21.0 프로덕션 업데이트: KV 오프로드와 멀티 서버 포트 버그
오픈소스#vllm#llm-inference#open-source#production

vLLM v0.21.0 프로덕션 업데이트: KV 오프로드와 멀티 서버 포트 버그

v0.22.0은 아직 존재하지 않습니다. v0.21.0은 KV 오프로드, 스펙 디코드, 그리고 검토 중인 멀티 서버 포트 버그를 포함합니다.

Creeta
Creeta
표시 중 1 / 1 건