Traducción pendiente. Esta definición aún no está traducida al español. Leer la versión en inglés.

vLLM

An open-source LLM serving framework from UC Berkeley that introduced PagedAttention and continuous batching as production-grade defaults. vLLM and TensorRT-LLM dominate the open-source serving layer for high-throughput LLM endpoints.

Definición editorial de DecipherU. Para definiciones técnicas autorizadas, consulta NIST AI RMF, ISO/IEC 42001, o las publicaciones oficiales de los laboratorios de IA.