Google / Gemini : la direction choisie, et comment chaque génération la pousse plus loin

Quand deux laboratoires publient chacun un modèle, la comparaison la plus commode consiste à les mettre côte à côte sur un même banc d’essai et à désigner un vainqueur du mois. Cette lecture rate ce qui compte vraiment pour un décideur : la direction de fond que chaque laboratoire poursuit, modèle après modèle, indépendamment du classement du moment. Pour Google, cette direction est lisible depuis 2023 et n’a pas changé depuis : une recherche IA unifiée, une conception multimodale dès l’origine, et un calcul maîtrisé en interne plutôt que loué à un tiers.

Une recherche IA unifiée sous un même toit

Ce que les données établissent. En avril 2023, Google fusionne deux équipes qui travaillaient jusque-là séparément : Google Brain, l’équipe de recherche en apprentissage automatique de Google, et DeepMind, le laboratoire londonien racheté en 2014. La structure issue de cette fusion, Google DeepMind, réunit sous une même direction la recherche fondamentale et les moyens de calcul à grande échelle du groupe. Ce n’est pas un simple changement d’organigramme : c’est la même équipe qui conçoit désormais l’architecture d’un modèle et qui décide de l’infrastructure sur laquelle il tourne, du prototype de recherche jusqu’au produit déployé à des milliards d’utilisateurs.

Multimodal dès l’entraînement, pas dès la deuxième version

Ce que les données établissent. Le rapport technique de Gemini, publié par l’équipe Google DeepMind, décrit un choix de conception qui distingue Gemini de nombreux modèles concurrents construits initialement pour le texte seul : Gemini est entraîné conjointement sur du texte, des images, de l’audio et de la vidéo, avec une même architecture qui traite ces modalités dès le départ plutôt qu’un module ajouté après coup sur un modèle texte déjà entraîné. Concrètement, cela veut dire qu’un Gemini ne “traduit” pas d’abord une image en description textuelle avant de raisonner dessus : il manipule l’image, le son ou la vidéo dans le même espace de représentation que le texte, depuis l’entraînement initial.

Mon interprétation. Ce choix a un coût en amont, celui de collecter et d’aligner des données de nature très différente avant même de commencer à entraîner, plutôt que d’itérer modalité par modalité. En échange, il évite un défaut classique des architectures assemblées par ajouts successifs : des modalités qui cohabitent sans vraiment se comprendre entre elles. C’est un pari d’ingénierie posé une fois, au moment de la conception, qui continue de porter chaque nouvelle génération du modèle sans avoir à être reposé à chaque fois.

Deux atouts d’infrastructure qui ne dépendent pas de la version

Ce que les données établissent. Deux caractéristiques stables distinguent la trajectoire de Google de celle de la plupart des autres laboratoires. La première est matérielle : Google entraîne et sert ses modèles Gemini sur des TPU (Tensor Processing Units), des puces conçues en interne pour le calcul d’apprentissage automatique, plutôt que de dépendre entièrement de GPU achetés ou loués à des fournisseurs tiers. La seconde est la fenêtre de contexte, c’est-à-dire la quantité de texte, d’image ou de vidéo qu’un modèle peut prendre en compte en une seule fois : les modèles Gemini figurent depuis plusieurs générations parmi les fenêtres de contexte les plus longues du marché, de plusieurs centaines de milliers de tokens jusqu’à plus d’un million de tokens sur certaines versions.

Mon interprétation. Ces deux atouts ne sont pas indépendants l’un de l’autre. Une fenêtre de contexte très longue coûte cher à faire tourner en pratique, en mémoire et en calcul ; disposer de puces conçues sur mesure pour ce type de charge de travail rend ce coût plus supportable que s’il fallait le payer au tarif du marché libre du GPU. Le chiffre exact de la fenêtre de contexte a changé et continuera de changer à chaque génération : ce qui reste stable, c’est que Google conserve depuis plusieurs versions une avance sur cette dimension précise, portée par une infrastructure qu’il ne partage avec aucun concurrent.

Un produit qui ne s’appelle pas “chatbot”

Ce que les données établissent. La plupart des commentaires comparent Gemini à d’autres modèles à travers une interface de conversation autonome, sur le modèle d’un assistant qu’on ouvre pour lui poser une question. Ce n’est pourtant pas là que Google joue sa carte la plus stable : Gemini est avant tout intégré dans des produits déjà installés chez des milliards d’utilisateurs, la Recherche Google, Workspace (Docs, Gmail) et Android. L’utilisateur n’a pas nécessairement besoin d’ouvrir une application dédiée pour rencontrer le modèle : il le croise en cherchant une information, en rédigeant un document ou en utilisant son téléphone.

Mon interprétation. Comparer Google à un concurrent uniquement sur la fréquentation d’une application de conversation revient à mesurer la mauvaise chose. La distribution que Google mobilise n’est pas celle d’un produit qu’il faut faire connaître et adopter depuis zéro : c’est celle d’habitudes déjà prises par des milliards de personnes, dans des outils qu’elles utilisaient déjà avant que Gemini n’y soit intégré.

Le calcul interne, un enjeu de coût autant que de choix technique

Mon interprétation, à partir des éléments disponibles. Google présente le contrôle interne de son infrastructure de calcul comme un avantage de coût et d’indépendance, pas seulement comme une préférence d’ingénierie. Dans un contexte où plusieurs laboratoires concurrents dépendent de GPU dont l’offre reste contrainte et le prix élevé, disposer de puces conçues et fabriquées pour ses propres besoins réduit l’exposition de Google à cette pénurie et aux prix qu’elle impose à ceux qui n’ont pas cette option. C’est un argument avancé par Google lui-même : je n’ai pas trouvé de comparaison chiffrée et vérifiée de façon indépendante entre le coût réel d’un TPU et celui d’un GPU équivalent loué sur le marché, ce qui invite à traiter cet avantage comme plausible et cohérent avec les faits observables, sans le tenir pour définitivement mesuré.

La direction de Google ne se résume pas à un modèle plus performant qu’un autre à un instant donné : c’est une recherche unifiée depuis 2023, une conception multimodale posée dès l’entraînement, et une infrastructure de calcul maîtrisée en interne, qui portent chaque nouvelle génération sans avoir à être reconstruites à chaque fois.

Mes réserves

• L’avantage de coût attribué aux TPU repose sur la communication de Google elle-même ; je n’ai pas trouvé d’étude indépendante chiffrant précisément l’écart de coût réel avec un GPU loué sur le marché, pour une charge de travail comparable.
• La fenêtre de contexte et les autres caractéristiques techniques évoluent à chaque génération : les ordres de grandeur cités ici (centaines de milliers à plus d’un million de tokens) reflètent une tendance observée sur plusieurs versions, pas un chiffre figé qui vaudrait pour toutes les versions à venir.
• L’intégration profonde dans des produits existants est un atout de distribution, mais elle expose aussi Google à un risque que d’autres labs n’ont pas au même degré : toute erreur du modèle se propage immédiatement dans des produits utilisés par des milliards de personnes, avec un niveau d’attention réglementaire et médiatique proportionnellement plus élevé.
• D’autres laboratoires ont depuis annoncé des approches se rapprochant de la multimodalité native ou de fenêtres de contexte étendues ; l’écart décrit ici est une photographie datée, pas une garantie que cette direction restera un avantage différenciant indéfiniment.

Concrètement, juger la direction de Google à l’aune du dernier classement de banc d’essai revient à ignorer ce qui structure réellement sa trajectoire : une organisation de recherche unifiée, un choix de conception posé une fois et reconduit à chaque génération, et une infrastructure qui ne dépend pas d’un fournisseur tiers. C’est cette combinaison, plus que la performance d’une version précise, qui mérite d’être suivie dans la durée.

Retour au dossier « Comprendre les modèles post-LLM ». Voir aussi DeepSeek : la direction choisie et Convergence ou divergence des labs IA ?.