Traducción pendiente. Esta definición aún no está traducida al español. Leer la versión en inglés.

KV Cache (Key-Value Cache)

The cached attention keys and values from previously processed tokens in a transformer inference run. The KV cache lets autoregressive decoding skip recomputing attention over the prefix on every step, making the per-token cost roughly constant rather than growing with sequence length.

Definición editorial de DecipherU. Para definiciones técnicas autorizadas, consulta NIST AI RMF, ISO/IEC 42001, o las publicaciones oficiales de los laboratorios de IA.