Malgré la frénésie boursière et les milliards engloutis par les géants de la tech, l’intelligence artificielle reste prisonnière de ses limites.
Quel est le tout dernier progrès, en matière d’intelligence artificielle (IA) ?
La réponse pourrait vous surprendre.
Nous sommes tous au courant du boom des actions liées à l’IA, des technologies d’IA et du battage médiatique incessant entourant l’IA. Impossible d’ouvrir son navigateur sans lire quelque chose à propos de l’IA, et impossible de regarder les flux de cotations sans remarquer à quel point les cours sont stimulés par les valorisations des entreprises d’IA.
Ce boom est peut-être une bulle, mais cela ne va pas forcément changer de sitôt. Une bulle boursière suit son propre cours et n’éclate pas sous prétexte que les investisseurs ont compris que c’était une bulle.
Cela dit, la puissance de l’IA ne fait aucun doute. Elle est partout. Sur le tableau de bord de votre voiture, dans l’électroménager de votre maison, et dans la paume de votre main via les applications d’IA.
L’IA existe depuis les années 1950. Elle imite le cerveau humain par la mise en place de réseaux de neurones. Ces réseaux comportent des nœuds (« nodes ») qui sont connectés entre eux par des liaisons (« edges »). Les nœuds contiennent des formules mathématiques qui traitent les données entrantes. Les données traitées forment ensuite des résultats (ou sorties de nœud), lesquels s’acheminent vers un autre nœud.
Des pondérations (« weights ») peuvent être assignées aux liaisons, certains résultats étant plus puissants que d’autres. Les résultats obtenus peuvent être organisés en couches : les résultats des couches inférieures sont transmis aux couches supérieures, où ils subissent un traitement entrant et sortant plus élaboré.
Aujourd’hui, les réseaux neuronaux peuvent être complexes au point de l’inimaginable, des milliards de nœuds traitant des centaines de milliards de résultats.
Les progrès de l’IA
La science de l’IA est entrée dans une impasse au début des années 1980 en raison des limitations de la puissance de calcul et des canaux relativement primitifs sur lesquels ces traitements étaient réalisés. Cette décennie a été qualifiée « d’hiver de l’intelligence artificielle ». Ce manque de progrès scientifique dans le domaine de l’IA a persisté tout au long des années 1990 et jusqu’au début des années 2000.
A partir de l’année 2005, environ, de grandes avancées ont été accomplies, et ont produit la révolution de l’IA que nous observons aujourd’hui.
D’abord, la puissance de calcul a augmenté de façon spectaculaire. Des semi-conducteurs plus rapides, produits initialement pour les jeux vidéo par Nvidia et AMD, ont été adaptés avec grand succès au traitement de l’IA.
Ensuite, il y a eu l’invention des grands modèles de langage (« Large Language Models » ou LLM). Il s’agit d’algorithmes qui permettent aux systèmes d’IA de passer au crible des milliards de pages de contenus (y compris l’intégralité d’Internet), de « tokéniser » [NDLR : découpage en unités linguistiques ou en représentations vectorielles] des mots, des phrases et des images, et de rechercher des groupes de mots et d’images qui vont normalement ensemble. Des valeurs sont assignées à ces combinaisons de mots et d’images ensuite assemblées en nuages permettant aux systèmes d’y accéder si nécessaire pour l’écriture grammaticale et la création d’images composites.
Enfin, il y a eu l’invention des GPT (« Generative Pre-trained Transformers »), qui permettent aux processeurs de travailler en parallèle plutôt que de façon séquentielle. Les fils d’exécution parallèles [NDLR : flux de calcul qui se déroulent simultanément] convergent à la fin du processus, mais cette convergence contient des données bien plus affinées en raison de la méthode basée sur le modèle Transformer. Le GPT agit un peu comme un turbo sur les puces à haute vitesse, si bien que cela produit un bond en avant exponentiel de la vitesse de traitement.
C’est en novembre 2022, avec le lancement du Chat GPT-4 d’OpenAI (qui a conquis 100 millions d’utilisateurs en moins de 30 jours), que les avancées décrites ci-dessus ont déclenché la frénésie boursière et les avancées technologiques que nous constatons toujours.
Une superintelligence hors de portée
Tous ces progrès et le boom de l’IA en général ont été extrapolés au-delà des capacités technologiques. Ces évocations de superintelligence, ou d’intelligence générale avancée – selon lesquelles les humains seraient aux ordinateurs ce que les singes sont aux humains, en termes de capacités cognitives – sont absurdes.
Les ordinateurs vont peut-être aller plus vite, et les robots être plus courants, mais nous ne connaîtrons peut-être jamais la superintelligence.
La raison tient à la différence entre, d’une part, le raisonnement inductif et déductif, que les ordinateurs peuvent effectuer dans certaines limites, et, d’autre part, la logique abductive et la sémiotique, qui sont des compétences humaines importantes que les ordinateurs ne peuvent absolument pas maîtriser. Ces compétences ne sont pas programmables et marquent l’une des différences clés entre les fonctions cérébrales humaines et le calcul informatique.
Parmi d’autres contraintes, figurent la loi des rendements décroissants, selon laquelle l’augmentation massive de l’énergie nécessaire et de la puissance de traitement n’entraîne qu’une augmentation mineure de la production.
De grandes entreprises technologiques (Microsoft, Meta, Google, OpenAI, Apple, Oracle, entre autres) ont dépensé plus de 400 Mds$ en centres de données et autres infrastructures d’IA, au cours de l’année qui s’est écoulée, et en programment encore d’autres.
L’augmentation de la puissance de calcul ne s’est pas traduite par une augmentation des résultats obtenus. Les bénéfices ne se concrétisent pas. En fait, de nouvelles applications telles que GPT-5, d’OpenAI, sont très décevantes. Ce phénomène des rendements décroissants, bien connu des ingénieurs spécialisés dans d’autres domaines, pourrait réserver un choc à ceux qui investissent dans l’IA sous l’impulsion de la FOMO (« Fear of Missing Out » : la peur de passer à côté de quelque chose).
Une autre contrainte n’est pas bien appréhendée : la loi appelée « Law of Conservation of Information in Search ». Selon cette loi, tout processus de recherche (y compris les versions d’IA les plus sophistiquées) disposant des processeurs et des LLM les plus rapides ne peut rien trouver de nouveau – seulement des informations existantes.
L’IA peut trouver des choses plus vite et établir des liens que des humains ne pourraient établir en toute une vie, mais cela reste des informations existantes. Bref, l’IA n’a pas de capacité créative. Elle ne peut pas « penser » à quelque chose de nouveau, contrairement aux humains qui créent de nouvelles formules et des œuvres d’art quotidiennement.
L’IA n’est ni intelligente, ni créative. Elle est juste rapide.
En résumé, l’IA ne sera jamais super intelligente, les dépenses sont en train de se heurter au mur des rendements décroissants, l’IA n’offre aucune créativité (juste des recherches rapides), et les enfants peuvent surpasser les machines les plus rapides sur des tâches faisant intervenir l’intuition.
Réduire l’échelle des données
Il existe certaines solutions encourageantes qui pourraient permettre à l’IA d’apporter une valeur ajoutée, au-delà de la robotique et des calculs rapides.
Il y aurait notamment les SLM (« Small Language Models » : petits modèles de langage). Contrairement aux LLM, qui passent au crible l’intégralité d’Internet ou de vastes sous-ensembles, les SLM contiennent bien moins de données et sont vérifiés par des experts de certains domaines afin d’être adaptés à des tâches spécifiques.
Quel est l’intérêt d’intégrer des milliards de pages de texte dans un ensemble d’entraînement si la plupart de ces pages n’ont rien à voir avec le problème que l’application d’IA en question tente de résoudre ?
David Cox, directeur de la recherche sur l’IA chez IBM, a récemment déclaré ceci : « Votre chatbot dédié aux ressources humaines n’a pas besoin de maîtriser la physique avancée. »
La différence entre SLM et LLM se situe notamment sur le nombre de paramètres avec lesquels le modèle est entraîné. Les LLM se servent des centaines de milliards de paramètres, alors que les SLM n’en ont peut-être besoin que de 40 milliards, voire moins.
Certains SLM se servent d’un milliard de paramètres, seulement. Cela veut dire que les SLM peuvent fonctionner plus vite et en consommant moins d’énergie. Ils peuvent également s’adapter plus facilement aux smartphones et aux autres applications, comme les voitures à conduite autonome et les appareils électroménagers.
Les SLM ont également moins « d’hallucinations » (tendance de l’IA à inventer de toutes pièces des données pour répondre à une requête ou finir un récit par ailleurs incomplet) que les LLM.
Les SLM ont moins de chances d’être entraînés sur des résultats obtenus par les LLM et qui polluent les ensembles d’entraînement. En effet, selon certaines recherches, à mesure que les LLM s’entraînent sur des ensembles de données comprenant des résultats déjà obtenus par des LLM, ces ensembles contiennent de plus en plus de mauvais résultats, et les résultats obtenus deviennent rapidement absurdes.
Les SLM sont plus résistants à ce phénomène, car leurs ensembles d’entraînement sont techniquement plus rigoureux.
Les SLM fonctionnent également avec des puces moins chères, ce qui pourrait avoir des conséquences négatives pour les gigantesques fabricants de puces tels que Nvidia. Les SLM fonctionnant sur de plus petits systèmes de cloud pourraient rendre les gigantesques fermes de serveurs en cours de construction soit redondantes, soit obsolètes.
Les SLM, qui sont une bonne nouvelle pour les développeurs et les utilisateurs, pourraient être une mauvaise nouvelle pour les investisseurs qui ont parié sur les entreprises construisant de gigantesques centres de données s’appuyant sur des puces super rapides et des LLM.
Toutes les bulles boursières finissent par éclater.
Le compte à rebours de l’éclatement de la bulle technologique de l’IA a peut-être déjà commencé.
