Traducción pendiente. Esta definición aún no está traducida al español. Leer la versión en inglés.

Pretraining

The first and most expensive phase of training a large model, where the network learns general representations from a massive unlabeled corpus. For language models the objective is usually next-token prediction over trillions of tokens of internet text, books, and code. Pretraining produces a base model that knows a lot but follows no instructions.

Definición editorial de DecipherU. Para definiciones técnicas autorizadas, consulta NIST AI RMF, ISO/IEC 42001, o las publicaciones oficiales de los laboratorios de IA.