Achat et construction d'IA : sur 3 143 entreprises, sont-ils complémentaires ?

Pas comme un résultat net. Dans la version de travail de 2023, les auteurs infèrent la complémentarité par corrélation. Leur estimation porte sur 3 143 entreprises, d’après une enquête de début 2020. Ils jugent les complémentarités « courantes » selon les secteurs, avec des écarts d’intensité et des exceptions. Le signal n’est net que dans quelques secteurs, et l’informatique fait exception : son coefficient est négatif, ce que les auteurs lisent comme un signe de substitution. L’étude ne mesure ni performance ni coût.

1. Un résultat par secteur. Les auteurs estiment 13 coefficients sectoriels. Onze moyennes sont positives, mais, d’après les bornes publiées, trois intervalles excluent zéro, dont celui de l’informatique, négatif.

2. Une complémentarité inférée de choix déclarés. L’étude compare des décisions d’approvisionnement sur une coupe transversale, sans mesure de performance ni de coût.

3. Des choix qui varient par secteur, pas une preuve de gain. L’étude montre que les choix d’approvisionnement varient selon les secteurs ; elle ne mesure pas lequel rapporte le plus. Les auteurs avancent, sans le mesurer, que la voie hybride est probablement la plus longue et la plus coûteuse et que, vu la rareté des experts en IA, le prêt-à-l’emploi peut ne pas permettre à court terme aux entreprises sans compétences internes de tirer une valeur significative de leurs investissements en IA.

Le texte lu est une version de travail de 2023

Le texte lu est le Working Paper TIMES² 2023-069 de l’Université libre de Bruxelles, daté d’août 2023 (p. 1). Il remercie « the Editor, two anonymous referees » et ne dit pas quelle version ils ont lue. Une version a paru en mars 2024 dans le Journal of Economics & Management Strategy (notice Crossref, DOI 10.1111/jems.12586). Elle n’a pas été lue pour cette pièce.

Les auteurs sont Hoffreumon, Forman et van Zeebroeck, dans cet ordre (p. 1). Hoffreumon et van Zeebroeck figurent aussi parmi les auteurs du rapport d’enquête dont l’étude exploite les données (Kazakova et al., 2020). L’étude cite ce rapport sans discuter ce lien. Les auteurs présentent leur travail comme un premier pas, qui apporte des éléments préliminaires (p. 2).

Les 3 143 entreprises sont l’effectif d’estimation, pas celui de l’enquête

L’enquête est téléphonique, menée du 16 janvier au 9 mars 2020 auprès du siège des entreprises. Le répondant visé est « an employee who is familiar with how technology is used within the firm ». Le taux de réponse moyen est de 7 % (p. 11).

L’échantillon exclut les entreprises de moins de 5 salariés et sur-représente celles de plus de 50 salariés (p. 13). L’enquête compte 9 640 observations. L’effectif d’estimation final est de 3 143 (Table 3, p. 21).

Ces 3 143 entreprises ne sont pas toutes adoptantes. Dans la Figure 3, la catégorie « Neither » va de 37,06 % (informatique) à 76,92 % (Utilities) selon le secteur (p. 18). Le document ne donne ni le nombre d’adoptants parmi les 3 143, ni les effectifs par secteur de ces 3 143 entreprises : ceux de la Table 1 portent sur un échantillon plus large (p. 12).

« Développer » recouvre aussi la modification d’un logiciel commercial ou open source. Les prestataires externes restent hors modèle (p. 16). La mesure capte adopter ou non, non l’intensité d’usage (p. 15).

La complémentarité est inférée de choix déclarés ensemble

Les auteurs infèrent la complémentarité de la co-occurrence des décisions, sous l’hypothèse de dirigeants rationnels (p. 8). Ils renoncent à l’approche par la performance, faute de données de performance postérieures à 2020 (p. 8-9). Un terme ajouté à l’utilité de la combinaison est positif en cas de complémentarité, négatif en cas de substitution. Il est estimé pour chacun des 13 secteurs (p. 9-10).

L’identification de ce terme repose sur une restriction d’exclusion : la distance de l’entreprise aux institutions européennes de recherche en IA qui publient le plus, supposée agir sur « développer » et non sur « acheter » (p. 9, p. 20). Pour ce paramètre, les auteurs écrivent que « most of the distribution sits below zero » (p. 23).

Onze moyennes sont positives, mais trois intervalles excluent zéro

Ce que le document publie. La Table 4 publie, par secteur, une moyenne a posteriori et un intervalle, avec N = 3 143 (p. 22).

Tableau 1. Moyenne a posteriori du terme de complémentarité et intervalle publié (bornes 3 % et 97 %), cinq secteurs sur 13. Source : version de travail, Table 4 (p. 22), tableau A.2 (p. 43). Tier I.

Ces coefficients sont des paramètres estimés par un modèle de choix, qui repose sur la co-occurrence des choix d’approvisionnement.

Les auteurs écrivent qu’il y a une « clear preference » pour combiner dans quatre secteurs (p. 25). Ce sont le scientifique, le commerce de détail, la finance et l’immobilier, et l’industrie manufacturière. Ils parlent de « strong evidence of complementarities » pour les trois premiers (p. 27). Le document ne donne pas de critère pour ces qualificatifs.

Ils écrivent que l’informatique est « the only sector that shows strong evidence of substitution ». Leurs explications sont des conjectures, hors du champ de l’étude (p. 25).

Un test de robustesse ré-estime le modèle sur 2 771 entreprises, un sous-échantillon que les auteurs présentent comme des entreprises plus anciennes. Le texte le décrit une fois à l’inverse (p. 28). Ils écrivent que quatre secteurs, dont la finance et l’industrie manufacturière, « remain industries with significant complementarities ».

Une seconde vérification, par des modèles linéaires sur les mêmes données et sans instrument, donne, sans interactions sectorielles, des effets positifs d’une stratégie sur l’autre, au seuil le plus strict de la légende du tableau A.3 (p. 45). Avec ces interactions, celle de l’informatique est négative, au seuil le moins strict de cette légende. Les auteurs écrivent que ces modèles peuvent donner des estimations non convergentes et ne sont pas directement comparables au modèle principal (p. 30-31).

Performance, coût, durée : non mesurés ; causalité : non établie

L’étude ne mesure ni performance, ni réussite, ni productivité, ni retour sur investissement. Elle ne mesure ni coût, ni durée, ni délai. La causalité n’est pas établie : l’estimation porte sur une coupe transversale, et les auteurs signalent un biais possible vers la complémentarité (p. 33). Les termes « generative » et « LLM » ne figurent pas dans le texte de l’étude.

Les auteurs bornent eux-mêmes la portée de leur résultat

Ils écrivent que leur estimation en coupe transversale peut les biaiser vers la complémentarité, à cause de facteurs non observés (p. 33).

Ils observent l’approvisionnement au niveau de la décision de l’entreprise, non application par application, et écrivent qu’ils sont ainsi « more likely to observe complementarity » (p. 7). Ils écrivent aussi que leurs a priori, centrés sur zéro, « might have brought part of the estimate closer to zero » (p. 26).

Le résultat est borné à la période de l’échantillon : les interdépendances « may change in the future » (p. 32). Ils écrivent que la voie hybride est « probably the longest and most expensive path » (p. 32). L’étude ne mesure ni coût ni durée.

Ce qu’un lecteur qui doit décider peut en faire

Les auteurs écrivent que, dans leurs deux modèles, les estimations positives de complémentarité par secteur sont répandues, mais que leurs distributions « overlap significantly across sectors » ; l’informatique y reste, selon eux, « a significant outlier », du côté de la substitution (p. 31).

Avant de citer l’étude, je vérifierais le secteur concerné, ce que « développer » recouvre, et la date des données, janvier à mars 2020.

Mes réserves

• Une version de travail lue, pas la version publiée. Ce que contient la version parue en 2024 n’est pas traité ici.
• Un échantillon partiellement décrit. Le document ne dit pas si les estimations sont pondérées. Il donne deux listes différentes de pays exclus, p. 11 et p. 41.
• Une photographie de début 2020. Les auteurs écrivent que les interdépendances peuvent changer. Les données, de janvier à mars 2020, n’isolent pas l’IA générative ; l’enquête compte une catégorie « Creative and experimentation activities », qui cite notamment la génération de données (p. 13).