Tradução pendente. Esta definição ainda não foi traduzida para o português brasileiro. Ler a versão em inglês.

KV Cache (Key-Value Cache)

The cached attention keys and values from previously processed tokens in a transformer inference run. The KV cache lets autoregressive decoding skip recomputing attention over the prefix on every step, making the per-token cost roughly constant rather than growing with sequence length.

Definição editorial da DecipherU. Para definições técnicas autorizadas, consulte NIST AI RMF, ISO/IEC 42001, ou as publicações oficiais dos laboratórios de IA.