Tradução pendente. Esta definição ainda não foi traduzida para o português brasileiro. Ler a versão em inglês.

Pretraining

The first and most expensive phase of training a large model, where the network learns general representations from a massive unlabeled corpus. For language models the objective is usually next-token prediction over trillions of tokens of internet text, books, and code. Pretraining produces a base model that knows a lot but follows no instructions.

Definição editorial da DecipherU. Para definições técnicas autorizadas, consulte NIST AI RMF, ISO/IEC 42001, ou as publicações oficiais dos laboratórios de IA.