Paramètres (poids)

Valeurs numériques ajustées durant l'entraînement d'un modèle et déterminant son comportement.

ExempleGPT-3 contient 175 milliards de paramètres : autant de valeurs numériques ajustées pendant l'entraînement, déterminant comment le modèle transforme chaque token d'entrée en une distribution de sortie.

En clairLe mot fait peur, l'idée est simple : ce sont les réglages internes du modèle, ajustés tout seuls pendant son apprentissage. Personne ne les écrit à la main, personne ne peut les lire un par un. L'erreur courante est de croire qu'un modèle qui en compte davantage répond forcément mieux. La qualité des données et la méthode comptent au moins autant. Ce nombre sert surtout d'argument commercial, faute d'autre chiffre simple à annoncer.