Quantification (IA)· Quantization

Technique réduisant la précision numérique des paramètres d'un modèle pour diminuer son coût de calcul.

ExempleLlama 3 70B réduit ses paramètres de 16 bits à 4 bits par quantification : le modèle passe de 140 Go à 35 Go en mémoire, permettant une inférence sur un seul GPU grand public.