Richard Sutton

Jeunesse et éducation

Le père de Richard Sutton est un cadre supérieur spécialisé dans les fusions et acquisitions chez Interlake Steel, entre autres positions, tandis que sa mère est professeure d’anglais. La famille déménage fréquemment durant sa petite enfance, et elle s’installe éventuellement à Oak Brook dans l’Illinois lorsque Richard Sutton a sept ans. Il confie plus tard que ces nombreux déménagements ont facilité sa décision de s’installer au Canada.

Richard Sutton découvre les ordinateurs à l’école secondaire et il est fasciné par le fait que les machines ne peuvent exécuter que les tâches qu’on leur demande de faire, et par la possibilité que ces machines possèdent un esprit. Comme il n’existe que peu de programmes d’éducation en informatique lorsqu’il commence ses études supérieures, Richard Sutton s’inscrit à l’Université de Stanford en psychologie. Il suit des cours de sciences informatiques en parallèle, ce qui lui fait découvrir l’intelligence artificielle (IA). Il se sent frustré par les structures de pensée figées de la psychologie, et surtout par la résistance de ce domaine aux nouvelles idées.

Après l’obtention de son baccalauréat en psychologie en 1978, Richard Sutton poursuit ses études en informatique à l’Université du Massachusetts Amherst, où il obtient sa maîtrise en sciences en 1980 et son doctorat en 1984.

Développement de l’apprentissage par renforcement

Au cours de sa carrière de chercheur aux États-Unis, Richard Sutton occupe divers postes, dont un poste au Computer and Intelligent Systems Laboratory de GTE Corporation de 1985 à 1994; celui de chercheur principal en informatique à l’Université du Massachusetts Amherst de 1995 à 1998; et celui de chercheur en intelligence artificielle aux AT&T Labs à Florham Park dans le New Jersey, de 1998 à 2002.

Richard Sutton est considéré comme un pionnier dans le domaine de l’apprentissage par renforcement. Sur son site web, le Alberta Machine Intelligence Institute (Amii) décrit l’apprentissage par renforcement comme « un type d’IA qui apprend par l’expérience. Au lieu de s’appuyer sur des ensembles de données fixes, il [l’apprentissage par renforcement] interagit avec son environnement, il fait des actions et il apprend à partir des rétroactions pour s’améliorer au fil du temps ».

Dans une entrevue accordée à Gregory Piatetsky en 2017, Richard Sutton décrit l’apprentissage par renforcement comme « un apprentissage par essais et erreurs à partir de récompenses lors d’interactions normales avec le monde. Cela est très semblable aux processus d’apprentissage naturels et est différent de l’apprentissage supervisé, où l’apprentissage n’a lieu que durant une phase d’entrainement spécial au cours de laquelle un signal de supervision ou d’enseignement est disponible, ce qui n’est pas le cas lors d’une utilisation normale ».

Au début des années 1980, avec Andrew Barto, son directeur de thèse à l’Université du Massachusetts Amherst, Richard Sutton collabore à une série d’articles qui traitent de ce que vont devenir les idées, les mathématiques et les algorithmes qui ont évolué en apprentissage par renforcement. La principale contribution des deux hommes est l’apprentissage par différence temporelle, qui permet de résoudre les problèmes liés à la prédiction des récompenses.

En 1998, Andrew Barto et Richard Sutton publient le manuel Reinforcement Learning: An Introduction, révisé en 2018. Ce livre est considéré comme l’ouvrage de référence dans ce domaine et il joue un rôle majeur dans le développement de l’IA.

Rochard Sutton exprime souvent des réserves quant au terme « intelligence artificielle ». Il préfère définir ses travaux comme l’étude de toute forme d’intelligence, qu’elle soit humaine ou artificielle. Il estime que la compréhension de l’intelligence en général pourrait permettre de mieux comprendre la place de l’humanité dans le monde et la manière dont nous pouvons contribuer à la résolution de ses problèmes. (Voir aussi L’informatique et la société canadienne.)

En 2019, lorsqu’on lui demande ce qu’il aimerait que le public comprenne au sujet de l’IA et de l’apprentissage par renforcement, Richard Sutton observe : « Ce n’est pas une chose bizarre artificielle venue d’ailleurs. L’IA concerne en réalité l’esprit et les personnes qui tentent de comprendre comment il fonctionne. »

Carrière canadienne

Durant une période où les emplois et le financement liés à l’IA se font rares (période qualifiée comme « l’hiver de l’IA » par les chercheurs du domaine), Richard Sutton se joint au département d’informatique de l’Université de l’Alberta en août 2003. Dans une entrevue accordée en 2019 au journaliste Craig Smith, Richard Sutton évoque trois raisons justifiant ce choix : la possibilité de travailler en tant que professeur titulaire; l’impressionnant personnel que l’université embauche à cette époque; et son aversion pour la politique américaine suite à l’invasion de l’Irak par les États-Unis (il obtient sa citoyenneté canadienne en 2015). Richard Sutton est également atteint d’un mélanome, qui est diagnostiqué en 1999. Son pronostic à long terme est sombre, mais la maladie finit par entrer en rémission.

En tant que professeur, Richard Sutton se forge une réputation d’enseignant stimulant pour ses étudiants, les encourageant à tenir des carnets de notes pour consigner leurs réflexions et « les développer en quelque chose qui vaut la peine d’être partagé ».

Richard Sutton est chargé de lancer un programme d’IA de 6,75 millions de dollars à l’université. Il fonde le laboratoire Reinforcement Learning and Artificial Intelligence, un laboratoire d’apprentissage par renforcement et d’intelligence artificielle dont les objectifs comprennent la création de nouvelles méthodes d’apprentissage par renforcement, ce qui permettrait de surmonter ses limitations et d’évoluer vers un modèle d’IA aux capacités proches de celles de l’humain. Il devient également le principal conseiller scientifique d’Amii.

En 2017, Richard Sutton est embauché par la Banque Royale du Canada comme conseiller académique principal en apprentissage automatique pour RBC Research. Cette même année, avec Michael Bowling et Patrick Pilarski, ses collègues de l’Université de l’Alberta, il est embauché par Alphabet, la société mère de Google, pour diriger la filiale d’Edmonton de DeepMind Technologies (aujourd’hui Google DeepMind), sa filiale britannique spécialisée en intelligence artificielle.

En 2022, Richard Sutton, Michael Bowling et Patrick Pilarski publient The Alberta Plan for AI Research, qui propose une méthode pour réexaminer l’apprentissage par renforcement « continu », une approche qui consiste à faire en sorte que les machines apprennent de manière constante plutôt que progressivement. Ils proposent de développer une forme d’IA qu’ils appellent « intelligence artificielle générale », qui est capable de fonctionner avec des capacités quasi humaines.

Suite à la fermeture du laboratoire DeepMind d’Edmonton en 2023 en raison de restrictions budgétaires, Richard Sutton quitte Alphabet et devient un fondateur du Openmind Research Institute. Il se joint également à Keen Technologies pour travailler sur la science de l’IA, notamment pour trouver des moyens de comprendre et de créer des agents informatiques capables de gérer la complexité croissante du monde. À l’époque, Richard Sutton estime que l’apprentissage par renforcement est de plus en plus dilué dans le domaine plus vaste de l’IA, alors que la demande pour des plateformes d’IA plus intelligentes augmente.

Dans ses travaux plus récents, Richard Sutton considère que les grands modèles de langage sont populaires, mais qu’ils ne sont que « la saveur du mois » et non « le moyen le plus fructueux pour réaliser des progrès fondamentaux ».

Alors qu’il fait un bilan de sa carrière en 2023, Richard Sutton observe qu’il a toujours suivi son propre chemin. « J’ai toujours été un peu en marge, c’est plus normal d’être dans le rôle du contestataire. En science, ce n’est pas rare. Et ce sont souvent ceux qui ont joué le rôle du contestataire qui ont raison. C’est de la vieille histoire. »

Prix et distinctions

• Membre, Société royale du Canada (2016)
• Prix d’excellence pour l’ensemble de ses réalisations, Association pour l’intelligence artificielle au Canada (2018)
• Membre, Royal Society of London for Improving Natural Knowledge (2021)
• Prix A. M. Turing (avec Andrew Barto), Association for Computing Machinery (2024)
• Médaille du couronnement du roi Charles III (2025)
• Prix IEEE Frank Rosenblatt (avec Andrew Barto), Institute of Electrical and Electronics Engineers (2025)