Pré-entraînement· Pre-training

Phase initiale d'entraînement d'un modèle sur un corpus généraliste, avant tout affinage.

ExempleGPT-4 a été pré-entraîné sur plusieurs téraoctets de textes web, livres et code pour apprendre la structure du langage : étape représentant plus de 99 % du coût total d'entraînement.