Un chat et une voiture activent le même neurone : un ex-OpenAI affirme avoir percé la boîte noire des IA
Les IA génératives fascinent, mais personne ne sait vraiment ce qui se passe dans leur tête. Un ancien d’OpenAI vient pourtant de publier un texte de 26 000 mots qui pourrait bousculer cette certitude. Au cœur de sa théorie : un chat, une voiture et une forme toute simple que les chercheurs n’avaient peut-être pas vue venir.
Boîtes noires : pourquoi les chercheurs en perdent leur latin depuis des années
Imaginez un moteur dont vous voyez entrer le carburant et sortir la vitesse, sans jamais pouvoir ouvrir le capot. C’est l’image que se font les chercheurs des modèles d’IA générative. Depuis des années, on les décrit comme des boîtes noires.
Première méthode : observer les entrées et les sorties, autrement dit les requêtes et les réponses, pour en déduire des règles de fonctionnement. Seconde méthode, plus ambitieuse : examiner les neurones un par un. C’est sur cette piste que tout se joue aujourd’hui.
Attention, ces neurones n’ont rien de biologique. Ce sont des fonctions mathématiques, logées dans des réseaux aux architectures variées : réseaux antagonistes génératifs, réseaux récurrents, transformeurs, réseaux convolutifs. Leur rôle exact est resté assez mystérieux jusqu’à présent, rappelle Futura-Sciences.
Le plus frustrant ? On peut regarder un neurone s’allumer sans comprendre ce qu’il détecte. Et l’enjeu dépasse la curiosité de laboratoire.
Les agents d’IA deviennent de plus en plus autonomes : ils planifient et exécutent des tâches complexes pour atteindre un objectif. Reste à s’assurer qu’une IA fait bien ce qu’on lui demande, et rien d’autre.
Cette opacité interroge d’autant plus que des IA flirtent déjà avec la lecture de nos pensées. Comprendre leurs rouages n’est plus un luxe d’initiés. Et c’est là qu’entre en scène un chercheur au CV bien particulier.
Le chat, la voiture et ce neurone qui s’allume pour les deux
L’homme s’appelle Nick Cammarata. Ancien d’OpenAI, il travaille désormais pour la startup Goodfire AI. Dans un article d’environ 26 000 mots, il explique, selon Futura-Sciences, avoir réussi à comprendre le fonctionnement de ces neurones.
Son point de départ est un casse-tête bien connu. Beaucoup de neurones s’activent pour deux concepts qui n’ont, a priori, rien à voir. L’exemple qu’il donne est presque comique : le chat et la voiture.
Jusqu’ici, les chercheurs invoquaient la superposition. Quand le réseau manquerait de neurones, il regrouperait des éléments sans rapport pour fabriquer des neurones dits polysémiques. Les concepts seraient assez éloignés pour ne pas interférer, ce qui autoriserait ce double emploi.
Résultat : des nœuds emmêlés, dont l’activation ne permet aucune interprétation. De quoi se demander ce qui se passe vraiment dans la machine quand l’IA de Meta répond d’une façon qui glace une mère inquiète.
Selon Cammarata, l’explication serait pourtant toute autre. Le chat et la voiture auraient bien quelque chose en commun. Goodfire AI publie d’ailleurs une illustration où des images contenant des éléments en V allument un même neurone artificiel.
Le visage d’un chat et l’avant d’une voiture contiendraient tous deux une forme en V. C’est ce concept-là que le neurone détecterait. Preuve avancée : il ne s’activerait pas devant des choses rondes, comme une balle ou un escargot. L’auteur a baptisé ce mécanisme la généralisation récursive.
Ce que cette forme en V changerait pour la sécurité des IA
Les formes, les caméras connaissent bien : un expert en cybersécurité a recouvert sa voiture pour la rendre invisible aux radars et aux caméras IA. Mais revenons à Cammarata, car son annonce vise bien plus gros qu’un chat.
Si chaque neurone a un rôle lisible, on pourrait peut-être s’attaquer au problème de l’alignement des IA. En les comprenant mieux, on découvrirait pourquoi leur comportement diffère de celui attendu. Et on trouverait comment mieux contraindre les modèles.
Voici la phrase qui fait réagir : « Nous pouvons désormais comprendre la plupart des neurones dans des modèles atteignant plusieurs milliers de milliards de paramètres, et nous pensons que les perspectives de l’interprétabilité mécaniste pourraient être bien meilleures que prévu. »
Autrement dit, la boîte noire s’entrouvrirait, y compris pour les très gros modèles. C’est la promesse qui justifie l’emballement. À ce stade, elle reste celle d’un chercheur qui l’affirme.
La publication a fait couler beaucoup d’encre chez les spécialistes. Sam Altman, président d’OpenAI, a affiché son enthousiasme. Tarun Gogineni, employé chez OpenAI, a qualifié le texte d’« étape majeure dans l’histoire de la science ».
Tout le monde n’a pas applaudi, pourtant. Et les objections méritent qu’on s’y arrête.
Ce que les sceptiques répondent, et pourquoi l’affaire est loin d’être close
Les critiques sont nombreuses. Certains soulignent que, même si la généralisation récursive existe, elle n’exclurait pas la superposition. Les deux phénomènes pourraient coexister.
Neel Nanda, de Google DeepMind, a tranché : « C’est un travail intéressant, mais je ne pense pas que cela change fondamentalement la donne. » Même en connaissant chaque neurone, prévoir le fonctionnement du réseau complet reviendrait à prévoir la météo à partir du comportement des atomes.
Autre bémol : ces résultats n’ont pas encore été évalués par d’autres chercheurs. Mais comme l’approche pourrait avoir des conséquences importantes pour la sécurité de l’IA, elle sera très certainement examinée à la loupe. Affaire à suivre, donc.
Pendant que les laboratoires débattent, les humains s’adaptent à ces outils : des salariés disent faire le travail de trois personnes depuis qu’ils utilisent l’IA. Comprendre les machines, c’est aussi savoir ce qu’on leur demande.
Et quand une machine bloque sans prévenir, comme ces jeux PS5 dématérialisés qui se verrouillent au bout de 30 jours sans connexion, on mesure le prix d’une explication claire.
Un chat, une voiture, un V : la boîte noire n’est peut-être pas aussi noire qu’on le croyait, mais il faudra des preuves pour le confirmer. Si l’histoire de la technologie vous donne le vertige, ce milliardaire qui a dépensé une fortune pour repêcher les moteurs d’Apollo 11 ne vous laissera pas indifférent. Et côté cerveau humain, ce biais psychologique que beaucoup ont développé sans le savoir dans les années 80-90 pourrait bien vous concerner.