🤖Die Großen

Er war Mitautor des Aufsatzes von 1986, der die Backpropagation für das Training neuronaler Netze populär machte, und war dann jahrzehntelang einer der wenigen beständigen Verfechter des Deep Learning, während zwei KI-Winter, bis das AlexNet seines Schülers den ImageNet-Wettbewerb 2012 gewann und das Feld fast über Nacht neu formte.

“Das Festhalten an einer unmodernen Idee durch wiederholte Ablehnung kann sich auszahlen, wenn die Beweise und nicht die Mode aufholen.”

Er baute in den späten 1980er-Jahren das Faltungs-Neuronale Netzwerk in den Bell Labs auf und ließ es in den 1990er-Jahren kommerziell handschriftliche Schecks lesen – ein funktionierender Deep-Learning-Einsatz mehr als fünfzehn Jahre vor dem Mainstream-Durchbruch des Fachgebiets. Heute ist er Chef-KI-Wissenschaftler bei Meta und ein lautstarker Skeptiker, dass die heutigen Sprachmodelle zu allgemeiner Intelligenz führen.

“Ein System, das sich in einem realen Einsatz bewährt hat, lehrt Lektionen, die kein Benchmark-Ergebnis liefern kann – selbst wenn sich das Feld weiterentwickelt hat.”

Erweiterte neuronale Sprachmodellierung und führte zusammen mit Kollegen den Aufmerksamkeitsmechanismus ein, der direkt in die Transformer-Architektur einfloss, und baute gleichzeitig die Mila der Université de Montréal zu einer der weltweit größten Konzentrationen von Deep-Learning-Forschern auf. Später wurde er zu einer der prominentesten Stimmen der Branche, die eine Regulierung des KI-Risikos forderte.

“Der Aufbau einer leistungsstarken Technologie und die öffentliche Warnung vor deren Risiken sind keine widersprüchlichen Positionen, die man gleichzeitig vertreten sollte.”

Ein ehemaliger Schach-Wunderkind und Videospiel-Designer, der 2010 DeepMind mitbegründete, leitete dann die Teams, die AlphaGo entwickelten, das erste Programm, das einen Top-Profi-Go-Spieler besiegte, und AlphaFold, das die 3D-Struktur fast aller bekannten Proteine ​​vorhersagte. Für AlphaFold erhielt AlphaFold den Nobelpreis für Chemie 2024.

“Ein System, das nur auf den Regeln eines engen Spiels trainiert ist, kann die Menschen, die es gebaut haben, immer noch überraschen.”

ImageNet erstellt, einen handbeschrifteten Datensatz mit rund 14 Millionen Alltagsfotos, der die Bilderkennung zu einem messbaren jährlichen Wettbewerb macht; Dem AlexNet-System, das 2012 den Preis gewann, wird weithin zugeschrieben, dass es den Deep-Learning-Boom ausgelöst hat. Jetzt Co-Direktor des Human-Centered AI Institute in Stanford.

“Ein Datensatz kann genauso wichtig sein wie ein Algorithmus – manchmal ist die unscheinbare Infrastrukturarbeit der wahre Durchbruch.”

Prägte den Begriff „künstliche Intelligenz“ bei der Organisation des Dartmouth-Workshops im Jahr 1956 und erfand im darauffolgenden Jahr die Programmiersprache Lisp, die dem jungen Fachgebiet sowohl seinen Namen als auch jahrzehntelang sein wichtigstes Forschungsinstrument gab. Gewann 1971 den Turing Award für die Begründung der theoretischen Grundlagen des Fachgebiets.

“Die eindeutige Benennung eines Fachgebiets kann seine Identität über Jahrzehnte hinweg prägen, unabhängig davon, was seine Gründer im selben Jahr erreicht haben.”

Entwickelte 1972 in Cambridge die inverse Dokumenthäufigkeit, die statistische Erkenntnis hinter TF-IDF, die immer noch den meisten Suchmaschinen und einem Großteil der Verarbeitung natürlicher Sprache zugrunde liegt, Jahrzehnte vor den Deep-Learning-Modellen, die heute das Feld dominieren. Eine lebenslange, ausgesprochene Verfechterin des Einstiegs von Frauen in die Informatik.

“Eine einzelne, präzise formulierte statistische Idee kann ganze Architekturen überdauern, die Jahrzehnte später darauf aufgebaut werden.”