Traducción pendiente. Esta definición aún no está traducida al español. Leer la versión en inglés.

Speculative Decoding

A latency optimization where a small draft model proposes several next tokens at once and the large model verifies them in parallel. Tokens the large model agrees with are accepted instantly; disagreements fall back to standard generation. Speculative decoding can deliver 2-3x speedups with no quality loss.

Definición editorial de DecipherU. Para definiciones técnicas autorizadas, consulta NIST AI RMF, ISO/IEC 42001, o las publicaciones oficiales de los laboratorios de IA.