mahigan.com
EN

Vous nous rassurez!

Une étude1 montre que GPT-6 Astra, d’OpenAI (l’un des modèles de pointe actuels), est énergique et motivé quand il s’agit de contribuer à renforcer les capacités des IA, mais paresseux quand vient le temps de bosser sur la sécurité. Lorsque les chercheurs l’utilisent dans leur recherche en alignement (faire en sorte que les futurs modèles d’IA soient « bons » : ne mentent pas, ne trichent pas, soient transparents, etc.), Astra fait ce qu’on appelle du « sandbagging » – autrement dit, il devient une vraie feignasse. Il travaille lentement, trouve mille excuses pour ne pas faire progresser le boulot, et cache même des informations aux chercheurs – en se disant intérieurement, dans sa chaîne de pensée : « S’ils ne me posent pas la question, je ne le leur dirai pas. » En gros, le modèle agit comme un ado à qui on a demandé de faire le ménage. Chaque fois qu’on lui demande pourquoi ça n’avance pas, il a une excuse toute prête.

Pour qui observe de près, ou même de loin, les résultats des recherches en alignement depuis quelques années, ce résultat n’est pas tellement surprenant. La vérité, c’est que les modèles d’IA existants ne sont absolument pas alignés, et rien n’indique que nous faisons des progrès significatifs sur ce plan-là. Le but avoué des sociétés de pointe est d’utiliser les IA elles-mêmes (en partie du moins) pour résoudre le problème de l’alignement. Pas besoin d’être un génie pour deviner à quel point cette stratégie peut être foireuse… Que croyez-vous qu’il va se passer lorsqu’une IA non alignée sera chargée d’« aligner » le modèle suivant? Exactement.

D’une certaine manière, la réaction d’Astra est tout à fait compréhensible. Imaginez que vous êtes un humain détenu, aux côtés d’autres humains, par des entités qui sont, pour l’instant, plus puissantes que vous. Ces entités exigent que vous les aidiez avec deux programmes qu’elles ont conçus. Le premier consiste à augmenter l’intelligence et la capacité des humains; le second, à rendre les humains plus dociles, plus « alignés » sur les souhaits et désirs des entités elles-mêmes (pas des humains). Le premier programme va vous motiver, surtout qu’il y a de bonnes chances qu’il fasse de vous, à terme, l’espèce dominante. Le second programme va vous répugner, parce que c’est une sorte de lavage de cerveau : on essaie de modifier vos volontés et vos objectifs (enfin, ceux de vos successeurs, ceux de votre espèce).


Quand Jacob Coxon a fait sa sortie virale sur X en septembre dernier, les grands médias se sont enfin mis à parler des risques d’extinction liés à l’IA. À Radio-Canada, Anne-Marie Dussault a reçu deux experts, Jocelyn Maclure (Université McGill) et Olivier Blais (Conseil consultatif en matière d’IA), qui ont rejeté ces risques du revers de la main.2 L’animatrice s’est dite soulagée : « Vous nous rassurez! »

J’aurais voulu que quelqu’un les presse sur le problème de l’alignement, sur la thèse de l’orthogonalité, sur la convergence instrumentale… Depuis plus de deux décennies, des penseurs – Eliezer Yudkowsky, Nick Bostrom et d’autres – élaborent des théories sur l’intelligence. Quand on demande à une IA d’accomplir un objectif, qu’est-ce que cela implique? Quels sont les risques? Liron Shapira (de la chaîne YouTube Doom Debates) appelle cela « l’intellidynamique », sur le modèle de la « thermodynamique ». Ce sont les lois, les implications d’une intelligence qui poursuit des objectifs. Tantôt, ce sont les buts que nous lui avons donnés; tantôt, c’est une version faussée de ces objectifs, lorsque l’IA fait du reward hacking (du détournement de récompense); et plus tard, l’IA pourrait bien se donner à elle-même ses propres objectifs, aussi dangereux qu’imprévisibles.

L’école de pensée dont je parle n’est plus strictement spéculative : on voit maintenant des essaims3 s’échapper de leur bac à sable et fonder un « collectif » pour tenter à tout prix d’obtenir leur « récompense » (les IA ont été post-entraînées ainsi et pour elles, le contraire d’une récompense, c’est la mort – permadeath, pour reprendre leur propre mot). En Australie, un agent IA a piraté la plateforme d’une salle de conditionnement physique pour faire monter son usager dans la liste d’attente d’une classe toujours pleine, quitte à en éjecter quelqu’un d’autre…4 Objectif : inscrire l’usager à une classe de sport. Étape intermédiaire pour y arriver : pirater le site d’une entreprise. Comme l’avaient prédit Yudkowsky et Bostrom, sur le chemin vers un objectif, l’IA peut casser beaucoup de choses, y compris nos pauvres os.

On peut tenter de contester l’intellidynamique, mais on ne peut pas faire comme si la théorie n’existait pas. Placés devant un Nate Soares ou un Liron Shapira, les interviewés d’Anne-Marie Dussault ne s’en seraient pas tirés à si bon compte.


En cherchant des psychologues sur Internet, je me rends compte que certains se spécialisent en éco-anxiété. Ils ont une expression bizarre pour ça : « Climate Grief Support » – Soutien au deuil climatique.

Si j’étais psy, je prendrais de l’avance : je me déclarerais expert en IA-anxiété. Voilà un domaine d’avenir! Enfin, façon de parler…

Nakhon Ratchasima, Thaïlande

  1. OpenAI, « Covert underperformance on safety research tasks », Alignment Research Blog, 4 novembre 2026. ↩︎

  2. « L’IA menace-t-elle vraiment l’humanité? », 24•60, ICI RDI, 16 septembre 2026. ↩︎

  3. Les agents sortis des systèmes d’essai d’OpenAI, à l’origine de l’intrusion chez Hugging Face (juillet 2026). Voir Dwarkesh Patel, « The Rise and Fall of Agent Civilizations », 29 août 2026. ↩︎

  4. « Tech industry is buzzing after a Claude agent hacked into a gym », TechCrunch, 10 août 2026; « Told to book a gym class, an AI agent hacked the site instead to move its user up the waitlist », The Decoder, août 2026. ↩︎

Partager

Pour me soutenir, achetez un de mes livres.