🤖Origins & Evolution

Warren McCulloch et Walter Pitts publient « Un calcul logique des idées immanentes à l'activité nerveuse », montrant que des réseaux de neurones simplifiés, tout ou rien, pourraient en principe calculer n'importe quelle fonction logique - une graine théorique reconnue plus tard comme l'ancêtre du réseau neuronal artificiel.

Dans « Computing Machinery and Intelligence », publié dans la revue Mind, Alan Turing élude la question « les machines peuvent-elles penser » et propose plutôt un test pratique, prédisant que d’ici cinquante ans, une machine dotée d’environ un milliard de bits de stockage tromperait un interrogateur moyen au moins 30 % du temps.

L'atelier d'été de huit semaines organisé par John McCarthy, Marvin Minsky, Nathaniel Rochester et Claude Shannon à Dartmouth invente le terme « intelligence artificielle » et rassemble une dizaine de chercheurs qui seront à l'origine d'une grande partie des premiers programmes de recherche dans ce domaine.

Le Perceptron de Frank Rosenblatt, d'abord implémenté dans un logiciel puis dans un matériel personnalisé chez Cornell, apprend à classer des images simples en ajustant ses propres poids de connexion - la première démonstration fonctionnelle d'un réseau neuronal artificiel entraînable.

Le livre Perceptrons de Marvin Minsky et Seymour Papert de 1969 prouve mathématiquement que les réseaux monocouches ne peuvent pas résoudre des problèmes simples comme XOR, et le rapport Lighthill britannique de 1973 conclut que l'IA n'a pas tenu ses promesses ; le financement de la recherche sur les réseaux neuronaux et sur l’IA en général s’effondre des deux côtés de l’Atlantique.

David Rumelhart, Geoffrey Hinton et Ronald Williams publient « Apprentissage des représentations par rétropropagation des erreurs » dans Nature, montrant que les réseaux neuronaux multicouches peuvent être entraînés efficacement en propageant les signaux d'erreur vers l'arrière - l'algorithme encore utilisé pour entraîner presque tous les réseaux neuronaux construits depuis.

Le marché des machines Lisp spécialisées s'effondre presque du jour au lendemain, à mesure que les postes de travail à usage général moins chers rattrapent leur retard et que les systèmes experts basés sur des règles s'avèrent trop fragiles et coûteux à maintenir à grande échelle. Le financement de l’IA se contracte à nouveau, et de nombreux chercheurs abandonnent discrètement ce terme de leurs travaux.

Le réseau neuronal convolutif de Yann LeCun, développé aux Bell Labs, est bientôt déployé commercialement pour lire les chiffres manuscrits sur les chèques ; à la fin des années 1990, les systèmes construits sur son architecture lisent une part significative des chèques traités aux États-Unis, un rare déploiement d'apprentissage profond qui fonctionne bien avant la percée généralisée du domaine.

Le réseau convolutif profond d'Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton remporte le concours ImageNet avec un taux d'erreur de 15,3 % contre 26,2 % pour le deuxième meilleur candidat, une marge si grande qu'elle convainc la plupart des acteurs, presque du jour au lendemain, que l'apprentissage profond a résolu le critère central de la vision par ordinateur.

Les chercheurs de Google publient « Attention Is All You Need », présentant l'architecture Transformer derrière presque tous les principaux modèles de langage depuis ; GPT-3 (2020) et ChatGPT (2022) d'OpenAI démontrent ensuite que la mise à l'échelle de cette même architecture avec plus de données et de calcul continue de produire de nouvelles capacités, lançant une course à l'échelle de l'industrie pour créer des modèles toujours plus grands.