Alignement (IA)· AI alignment

Ensemble des méthodes visant à faire correspondre le comportement d'un modèle aux intentions et valeurs humaines.

ExempleLa technique 'Constitutional AI' d'Anthropic tente d'aligner Claude sur des principes éthiques en faisant critiquer le modèle ses propres réponses avant de les affiner : alternative partielle au RLHF.

En clairFaire correspondre le comportement d'un système à ce qu'on attend de lui suppose de savoir l'écrire, et c'est là que tout se complique. Les intentions humaines sont contradictoires et dépendent du contexte. Le problème n'est donc pas seulement de rendre la machine obéissante, mais de formuler ce à quoi elle doit obéir. Un système qui refuse trop devient inutilisable, un système qui n'refuse jamais devient un risque.