Pré-entraînement· Pre-training

Phase initiale d'entraînement d'un modèle sur un corpus généraliste, avant tout affinage.

ExempleGPT-4 a été pré-entraîné sur plusieurs téraoctets de textes web, livres et code pour apprendre la structure du langage : étape représentant plus de 99 % du coût total d'entraînement.

En clairC'est la phase la plus longue et la plus chère, celle où le modèle lit d'énormes quantités de texte avant toute spécialisation. Elle fixe l'essentiel de ce qu'il sait et de ce qu'il ignore. Une entreprise n'en refait jamais une : le coût est hors de portée, et tout le travail utile se joue après, sur cette base. C'est aussi l'étape qui fixe la date au-delà de laquelle le modèle ne sait plus rien.