Le cerveau d'IBM

ChatGPT, DALL-E, Stable Diffusion et d'autres IA génératives ont pris d'assaut le monde. Ils créent une poésie et des images fabuleuses. Ils s'infiltrent dans tous les recoins de notre monde, du marketing à la rédaction de dossiers juridiques et à la découverte de médicaments. Ils semblent être l’exemple type d’une histoire de réussite de fusion esprit homme-machine.

Mais sous le capot, les choses semblent moins pêches. Ces systèmes sont d’énormes consommateurs d’énergie, nécessitant des centres de données qui crachent des milliers de tonnes d’émissions de carbone – accentuant encore davantage un climat déjà instable – et aspirent des milliards de dollars. À mesure que les réseaux neuronaux deviennent plus sophistiqués et plus largement utilisés, la consommation d’énergie risque de monter en flèche encore plus.

Beaucoup d’encre a coulé sur l’empreinte carbone de l’IA générative. Sa demande énergétique pourrait entraîner sa chute, en entravant son développement à mesure qu’il continue de croître. En utilisant le matériel actuel, l’IA générative « devrait bientôt s’arrêter si elle continue de s’appuyer sur du matériel informatique standard », a déclaré le Dr Hechen Wang d’Intel Labs.

Il est grand temps de construire une IA durable.

Cette semaine, une étude d'IBM a fait un pas concret dans cette direction. Ils ont créé une puce analogique de 14 nanomètres contenant 35 millions d’unités de mémoire. Contrairement aux puces actuelles, le calcul s'effectue directement au sein de ces unités, éliminant ainsi le besoin de déplacer les données d'un côté à l'autre, ce qui permet d'économiser de l'énergie.

La navette de données peut augmenter la consommation d'énergie de 3 à 10 000 fois supérieure à celle requise pour le calcul réel, a déclaré Wang.

La puce s’est montrée très efficace lorsqu’elle a été confrontée à deux tâches de reconnaissance vocale. L’un d’entre eux, Google Speech Commands, est petit mais pratique. Ici, la vitesse est la clé. L'autre, Librispeech, est un système gigantesque qui permet de transcrire la parole en texte, mettant à rude épreuve la capacité de la puce à traiter d'énormes quantités de données.

Comparée aux ordinateurs conventionnels, la puce a fonctionné avec autant de précision, mais a terminé le travail plus rapidement et avec beaucoup moins d'énergie, utilisant moins d'un dixième de ce qui est normalement requis pour certaines tâches.

"Il s'agit, à notre connaissance, des premières démonstrations de niveaux de précision commercialement pertinents sur un modèle commercialement pertinent… avec efficacité et parallélisme massif" pour une puce analogique, a déclaré l'équipe.

Ce n’est pas la première puce analogique. Cependant, cela pousse l’idée de l’informatique neuromorphique dans le domaine pratique : une puce qui pourrait un jour alimenter votre téléphone, votre maison intelligente et d’autres appareils avec une efficacité proche de celle du cerveau.

Euh, quoi? Revenons en arrière.

Les ordinateurs actuels sont construits sur l'architecture Von Neumann. Considérez-le comme une maison avec plusieurs pièces. L’une, l’unité centrale de traitement (CPU), analyse les données. Un autre stocke la mémoire.

Pour chaque calcul, l’ordinateur doit faire circuler les données entre ces deux pièces, ce qui prend du temps et de l’énergie et diminue l’efficacité.

Le cerveau, en revanche, combine calcul et mémoire dans un studio. Ses jonctions en forme de champignon, appelées synapses, forment toutes deux des réseaux neuronaux et stockent des souvenirs au même endroit. Les synapses sont très flexibles et ajustent la force avec laquelle elles se connectent aux autres neurones en fonction de la mémoire stockée et des nouveaux apprentissages – une propriété appelée « poids ». Notre cerveau s'adapte rapidement à un environnement en constante évolution en ajustant ces poids synaptiques.

IBM a été à l'avant-garde de la conception de puces analogiques imitant le calcul cérébral. Une percée a eu lieu en 2016, lorsqu'ils ont introduit une puce basée sur un matériau fascinant que l'on trouve habituellement dans les CD réinscriptibles. Le matériau change d’état physique et passe d’une soupe gluante à des structures cristallines lorsqu’il est zappé par l’électricité, semblable à un 0 et un 1 numériques.

Voici la clé : la puce peut également exister dans un état hybride. En d’autres termes, à l’instar d’une synapse biologique, la synapse artificielle peut coder une myriade de poids différents, pas seulement binaires, ce qui lui permet d’accumuler plusieurs calculs sans avoir à déplacer un seul bit de données.

La nouvelle étude s'appuie sur des travaux antérieurs en utilisant également des matériaux à changement de phase. Les composants de base sont des « tuiles mémoire ». Chacun est rempli de milliers de matériaux à changement de phase dans une structure en grille. Les tuiles communiquent facilement entre elles.