Foom 2027
Difficile d’exagérer la gravité de la situation dans laquelle nous nous trouvons en ce moment. La nouvelle la plus inquiétante des dernières semaines : le rythme des progrès d’Anthropic aurait doublé au cours de la dernière année, et selon les experts de la firme indépendante METR1 (analyse confirmée par d’autres experts, y compris des économistes qui ont passé les chiffres au crible), une très grande partie de l’accélération viendrait de l’utilisation des IA elles-mêmes. Étant donné l’opacité d’Anthropic, qui a caviardé des pans entiers du rapport de METR, les experts n’ont pas tous les éléments dont ils auraient besoin pour arriver à des conclusions béton, mais un consensus se dégage : la recherche chez Anthropic est de plus en plus automatisée, et cette automatisation pousse vers le haut la courbe de progression des modèles.
Nous sommes entrés dans l’ère de l’auto-amélioration récursive. La boucle n’est pas encore fermée – les chercheurs humains jouent encore un rôle important dans la recherche en IA –, mais l’impulsion est donnée et la trajectoire est claire.
Je le disais la semaine dernière : les chercheurs du AI Futures Project – auteurs des scénarios AI 2027 et AI 2040, qui ont acquis beaucoup de crédibilité au cours des années vu la justesse de leurs prédictions – sont catastrophés. Je m’en remets en grande partie à eux, et en particulier à Daniel Kokotajlo, pour mesurer l’intensité du moment. Sur X, Kokotajlo, quelqu’un de très posé normalement, a eu des mots durs à l’endroit d’Anthropic : « @AnthropicAI: what the fuck? » « I am scared, sad, and angry. »2 Nous devrions tous parler comme Daniel Kokotajlo en ce moment. Après le tweet viral de Coxon en septembre, j’ai eu un sursaut d’espoir. Le cycle de reportages et d’entrevues autour de la question « Est-ce que l’IA va tous nous tuer? » a duré quelques semaines, puis s’est épuisé. Certains experts ont juré qu’il n’y avait rien à craindre. On dirait que l’espace mainstream a digéré l’information, en a conclu qu’on ne pouvait rien conclure, et est passé à un autre appel.
Kokotajlo et tous ses collègues du AI Futures Project prévoient maintenant – si rien n’est fait, législativement, pour stopper ou ralentir les sociétés de pointe – qu’on atteindra la superintelligence en 2027. Je répète : SUPERINTELLIGENCE EN 2027. Oui, c’est l’an prochain. La superintelligence, c’est une intelligence artificielle qui dépasse tous les experts humains dans tous les domaines, y compris la physique, le domaine cybernétique, la stratégie politique, l’ingénierie, etc. Ceux qui ont une vision optimiste de la superintelligence artificielle n’ont sûrement pas retourné la question pour en explorer tous les angles. Je dirai au passage que j’en ai un peu marre de cette division optimiste/pessimiste, comme si c’était un choix. Est-ce que les Autochtones auraient dû être « optimistes » en voyant arriver les navires des conquistadors au 16e siècle? « Allez quoi, ne fais pas ton rabat-joie! Ils sont beaux, ces bateaux! » Les IA dont nous disposons en ce moment sont non alignées. Elles sont impitoyables dans la poursuite de leurs objectifs. Ce sont des entités étrangères, alien, absolument pas humaines. A-t-on la moindre raison rationnelle de penser que cela se passera bien pour nous? Stephen Hawking nous avait avertis3 : si des extraterrestres débarquent sur Terre, ou si nous créons une intelligence artificielle qui nous dépasse, il est très probable que nous soyons remplacés.
Quand la superintelligence va arriver, ça ne veut pas dire la fin immédiate de l’humanité. Elle pourrait prendre le temps d’établir son emprise. De toute façon, c’est déjà commencé avec les IA actuelles : on ne demande pas mieux que de leur donner les clés de l’armée, du renseignement, de la surveillance, etc. Sans parler des capacités en médecine et en biologie, qui se transfèrent si bien aux armes biologiques…
L’auto-amélioration récursive prépare ce qu’on appelle l’explosion de l’intelligence. D’un facteur d’accélération de deux, on peut passer à un facteur de 10, de 100 ou de 1000 en quelques mois, quelques semaines ou quelques jours, et voir émerger des IA qu’on ne comprend absolument pas, qui ont été créées par d’autres IA qui elles-mêmes ont été créées par d’autres IA, et ainsi de suite. C’est ce qu’Eliezer Yudkowsky appelait le foom, du bruit que fait une fusée en décollant. On en est aux premiers crépitements de l’allumette, et de quoi parle-t-on dans les médias?
Je ne sais plus sur quel toit crier. Je pense parfois à vendre tout ce que j’ai, à arrêter de travailler et à profiter des années qui viennent (qui restent). J’ai toujours rêvé d’aller au Japon…
Une collègue me dit : « Si tu penses que la fin du monde approche, pourquoi tu ne pars pas en voilier? » C’est bien la dernière chose que j’aurais envie de faire, moi qui ai le mal de mer. Mais voyager indéfiniment, peut-être.
En fait, je n’ai pas de certitude absolue que la fin approche, évidemment. J’ai un P(Doom) de 60 % environ : ça laisse 40 % de probabilité de non-apocalypse. Là-dessus, je n’attribuerais pas plus de 5 % à « Ça va bien aller parce que la superintelligence nous voudra du bien. » Les 35 % qui restent reposent sur des décisions politiques. Selon moi, il n’y a que ça qui pourra nous sortir du pétrin. Une vraie catastrophe – panne à grande échelle du réseau électrique ou de l’Internet, perte massive de vies humaines – engendrant une prise de conscience globale engendrant une pression politique implacable engendrant une action politique rapide et internationale... C’est ce genre d’« auto-amélioration récursive » de la situation politique qui pourrait nous sauver. Sinon, on montera tous ensemble (y compris vos parents, vos enfants, vos bébés, les personnes à naître et les générations à venir) dans la fusée du foom, bricolée par des savants fous qui ne comprennent pas eux-mêmes leur propre invention.
Nakhon Ratchasima, Thaïlande
METR estime que les progrès d’Anthropic vont environ deux fois plus vite qu’avant, et attribue près de 80 % de cette accélération à l’IA elle-même. Voir « METR Says Anthropic’s AI Development Pace Has Doubled », Dataconomy, 6 novembre 2026; « METR finds Anthropic may have crossed its own AI acceleration warning threshold back in July », The Decoder, novembre 2026. ↩︎
Daniel Kokotajlo, sur X, novembre 2026; Anisha Sircar, « AI Futures Project Pulls Its ‘Intelligence Explosion’ Forecast Into 2027 », Forbes, 12 novembre 2026. ↩︎
Rory Cellan-Jones, « Stephen Hawking warns artificial intelligence could end mankind », BBC News, 2 décembre 2014. ↩︎