Chercheur en IA · Conçoit et teste les algorithmes derrière l'intelligence artificielle, dans un domaine qui s'efforce désormais d'automatiser une part croissante de son propre processus de recherche.
L’image d’un chercheur inventant un nouvel algorithme intelligent en un éclair est en grande partie fausse. La plupart des journées sont consacrées à mener des expériences qui échouent de manière peu informative, à lire ce qu'une centaine d'autres laboratoires ont publié ce mois-ci et à essayer de déterminer si un résultat prometteur est réel ou s'il s'agit d'un artefact d'une graine aléatoire chanceuse.
Le savoir-faire transmis au sein du domaine concerne moins l'architecture à mémoriser que la discipline expérimentale : comment isoler ce qui a réellement provoqué une amélioration, quand faire confiance à un point de référence et quand ne pas le faire, et comment éviter qu'un résultat négatif ne soit discrètement rejeté.
L'algèbre linéaire, les probabilités, le calcul et l'optimisation sont le langage dans lequel presque tous les modèles et articles sont rédigés ; sans eux, les nouvelles méthodes sont illisibles plutôt que peu familières.
Écrire du code efficace en Python et un cadre d'apprentissage en profondeur, et comprendre suffisamment l'ingénierie des systèmes distribués pour exécuter des tâches de formation sur des dizaines ou des milliers de processeurs.
Concevoir des comparaisons contrôlées, exécuter suffisamment de graines aléatoires pour faire confiance à un résultat et isoler quel changement spécifique a réellement provoqué une amélioration plutôt que de supposer l'explication évidente.
Suivre le rythme d'un domaine qui publie des dizaines de milliers de nouvelles prépublications par an et déterminer lesquelles sont réellement importantes est désormais une compétence à part entière.
Choisir laquelle des nombreuses directions plausibles mérite des mois de calcul et d’attention – la compétence la plus difficile à enseigner directement, généralement absorbée en travaillant aux côtés d’un conseiller expérimenté.
Un résultat qui ne peut pas être rédigé assez clairement pour survivre à un examen par les pairs, ou expliqué à un bailleur de fonds non spécialisé, a du mal à avoir un impact, aussi réel soit-il.
Examiner les résultats des expériences du jour au lendemain, parcourir les nouvelles prépublications arXiv et les discussions en laboratoire avant le début du travail ciblé de la journée.
Le bloc le mieux protégé de la journée, consacré à l'écriture du code d'entraînement, au débogage d'un modèle ou à la conception de la prochaine expérience d'une série.
Souvent mangé avec des camarades de laboratoire, et souvent le cadre du genre d'échange d'idées informel qu'une réunion programmée produit rarement.
Réunions de laboratoire, en tête-à-tête avec un conseiller ou un responsable, et groupe de lecture rotatif où quelqu'un présente un article que le groupe doit comprendre.
Explorer pourquoi une expérience a fonctionné ou non, mettre à jour un document de résultats partagés et rédiger des sections d'un article avant une date limite.
Temps personnel – sauf dans les semaines précédant l'échéance d'une conférence majeure, où les soirées et les week-ends sont régulièrement consacrés à la fin des expériences.
Craft knowledge practitioners actually pass on — not motivation.
Avant de faire confiance à une exécution d'entraînement sur l'ensemble de données complet, vérifiez que le modèle peut ramener sa perte à près de zéro sur une petite poignée d'exemples. S’il ne parvient même pas à mémoriser dix exemples, le bug réside dans le code et non dans les données.
Une part surprenante des « améliorations » publiées diminuent ou disparaissent une fois que la base de comparaison obtient le même budget de recherche d’hyperparamètres que la nouvelle méthode – un modèle documenté à la fois dans les GAN et les modèles de langage.
Lorsqu'une nouvelle méthode avec cinq modifications regroupées bat une ancienne, supprimez chaque modification indépendamment et testez à nouveau avant de créditer une seule idée - sinon l'histoire du journal et la cause réelle du gain peuvent discrètement diverger.
Un chiffre du classement cesse de mesurer la capacité générale une fois que les chercheurs s'y adaptent directement à plusieurs reprises - une dynamique connue depuis longtemps sous le nom de loi de Goodhart et citée directement dans les critiques de la saturation des références en matière de PNL et de vision.
La rédaction précoce des principales affirmations d'un article impose un objectif concret et falsifiable pour les expériences restantes, au lieu de lancer d'abord des expériences et d'assembler un récit autour de ce qui s'est passé qui a fonctionné.
Les configurations, les graines et les hyperparamètres ayant échoué sont généralement supprimés en cas d'échec d'une exécution, mais leur enregistrement empêche un laboratoire de réexécuter tranquillement la même impasse six mois plus tard sous un nom différent.
Les deux cadres dominants d’apprentissage profond ; PyTorch est leader dans la plupart des recherches universitaires et industrielles, tandis que JAX est populaire pour les travaux à grande échelle et affiliés à Google.
Des clusters partagés, programmés avec des outils comme Slurm, qui transforment une conception de modèle en un véritable réseau formé – souvent la plus grande contrainte sur les expériences possibles.
Dans la pratique, le lieu de publication de facto du domaine : les nouveaux résultats circulent ici sous forme de prépublications, souvent des mois avant ou sans examen formel par les pairs.
Des tableaux de bord de suivi des expériences qui enregistrent les courbes de perte, les hyperparamètres et les résultats sur des centaines d'exécutions, sans lesquels la comparaison des expériences serait ingérable.
Environnements interactifs pour une exploration rapide des données, le débogage du comportement d'un modèle sur des exemples spécifiques et le prototypage avant que le code ne passe dans un pipeline de formation complet.
Obtenir une amélioration de la précision fractionnaire grâce à une recherche ou une échelle d'hyperparamètres supplémentaires, sans hypothèse sur la raison pour laquelle cela fonctionne, produit des résultats sur lesquels il est difficile pour quiconque de s'appuyer, même lorsque le nombre lui-même est réel.
En exécutant de nombreuses graines et en ne publiant que la meilleure, au lieu d’une moyenne et d’une propagation, le bruit ordinaire ressemble à un véritable effet – un problème signalé à plusieurs reprises dans les études d’apprentissage par renforcement et de reproductibilité PNL.
Les données de test qui ont fuité dans un corpus de pré-formation, ou un budget de calcul légèrement plus important qu'un rapport papier, peuvent rendre un résultat impossible à reproduire et, une fois découvert, nuire à la crédibilité d'un chercheur plus que ne le ferait un résultat modeste et honnête.
Voisins les plus proches sur le profil à six scores — pas seulement le même champ.
Conçoit et fabrique les transistors à l'intérieur de chaque ordinateur, téléphone et système d'armes, avec des machines si précises que seules quelques usines sur Terre peuvent les faire tourner.
AI-resistant 60 🩺Diagnostique la maladie et gère la santé pendant des années par l'examen et la preuve, non par une seule opération — le généraliste de la médecine et son guide de long terme.
AI-resistant 67 🧠Diagnostique et traite les maladies mentales par médicaments et psychothérapie, l'une des rares spécialités médicales dotée du pouvoir légal d'interner un patient en crise.
AI-resistant 73 👔Conseille les clients, rédige les documents qui les lient et défend leur cause lorsqu'elle est portée devant le tribunal, engageant ainsi sa responsabilité juridique personnelle si le conseil est erroné.
AI-resistant 58 💱Le spécialiste de la rareté — de l'usine d'épingles d'Adam Smith à la salle de décision de la banque centrale, toujours invité à prédire ce qu'aucun modèle ne saisit entièrement.
AI-resistant 62 💊L'expert des médicaments derrière chaque ordonnance — des premières boutiques de drogues de Bagdad et du mortier de l'apothicaire à la morphine, l'artémisinine et l'officine moderne.
AI-resistant 58Écrit, teste et maintient le code qui gère la vie moderne – et est l’une des premières professions à voir l’IA automatiser son propre travail quotidien.
AI-resistant 35 🛰️Conçoit, analyse et certifie les avions, les fusées et les engins spatiaux qui quittent le sol, en respectant des marges de sécurité qui ne laissent aucune place aux suppositions.
AI-resistant 74 🌉Le métier qui transforme les rivières, les roches et la gravité en ponts, en routes et en eau potable – le métier tranquille et porteur de la civilisation depuis Imhotep.
AI-resistant 72 🔌Conçoit et fabrique les transistors à l'intérieur de chaque ordinateur, téléphone et système d'armes, avec des machines si précises que seules quelques usines sur Terre peuvent les faire tourner.
AI-resistant 60 🦾Conçoit les machines qui perçoivent, décident et agissent dans le monde physique — où le vrai défi n'a jamais été l'intelligence, mais le monde lui-même.
AI-resistant 65