🤖The Greats

Co-auteur de l'article de 1986 qui a popularisé la rétropropagation pour la formation des réseaux neuronaux, puis a passé des décennies comme l'un des rares partisans constants de l'apprentissage profond au cours de deux hivers d'IA jusqu'à ce que AlexNet de son élève remporte le concours ImageNet 2012 et remodèle le domaine presque du jour au lendemain.

“Persister avec une idée démodée en la rejetant à plusieurs reprises peut s’avérer payant une fois que les preuves, et non la mode, rattrapent leur retard.”

Il a construit le réseau neuronal convolutif des Bell Labs à la fin des années 1980 et l'a fait lire commercialement des chèques manuscrits dans les années 1990 – un déploiement fonctionnel d'apprentissage en profondeur plus de quinze ans avant la percée du domaine. Aujourd'hui scientifique en chef de l'IA chez Meta et un sceptique virulent quant au fait que les modèles linguistiques actuels conduisent à l'intelligence générale.

“Un système éprouvé lors d’un déploiement réel enseigne des leçons qu’aucun score de référence ne peut permettre, même si le domaine a évolué.”

Modélisation avancée du langage neuronal et, avec des collègues, introduit le mécanisme d'attention qui alimentait directement l'architecture Transformer, tout en faisant du Mila de l'Université de Montréal l'une des plus grandes concentrations de chercheurs en apprentissage profond au monde. Plus tard, il est devenu l’une des voix les plus éminentes du domaine appelant à une réglementation des risques liés à l’IA.

“Construire une technologie puissante et alerter publiquement sur ses risques ne sont pas des positions contradictoires à tenir à la fois.”

Ancien prodige des échecs et concepteur de jeux vidéo qui a cofondé DeepMind en 2010, il a ensuite dirigé les équipes qui ont construit AlphaGo, le premier programme destiné à battre un grand joueur professionnel de Go, et AlphaFold, qui a prédit la structure 3D de presque toutes les protéines connues. A partagé le prix Nobel de chimie 2024 pour AlphaFold.

“Un système formé uniquement aux règles d’un jeu étroit peut encore surprendre les humains qui l’ont construit.”

Création d'ImageNet, un ensemble de données étiquetées à la main d'environ 14 millions de photographies quotidiennes, transformant la reconnaissance d'images en une compétition annuelle mesurable ; le système AlexNet, qui l'a remporté en 2012, est largement reconnu pour avoir déclenché le boom du deep learning. Aujourd'hui codirecteur du Human-Centered AI Institute de Stanford.

“Un ensemble de données peut avoir autant d’importance qu’un algorithme – parfois, le travail d’infrastructure peu glamour constitue la véritable avancée.”

Il a inventé le terme « intelligence artificielle » lors de l'organisation de l'atelier de Dartmouth en 1956, puis a inventé le langage de programmation Lisp l'année suivante, donnant à ce jeune domaine à la fois son nom et, pendant des décennies, son principal outil de recherche. A remporté le prix Turing en 1971 pour avoir fondé les fondements théoriques du domaine.

“Nommer un domaine de manière décisive peut façonner son identité pendant des décennies, indépendamment de ce que ses fondateurs accomplissent la même année.”

Développé la fréquence inverse des documents en 1972 à Cambridge, la vision statistique derrière TF-IDF qui sous-tend encore la plupart des moteurs de recherche et une grande partie du traitement du langage naturel, des décennies avant les modèles d'apprentissage en profondeur qui dominent désormais le domaine. Une fervente défenseure depuis toujours des femmes qui se lancent dans l’informatique.

“Une idée statistique unique et énoncée avec précision peut survivre à des architectures entières construites des décennies plus tard sur cette base.”