Qui doit fixer les limites de l’IA ?
Les systèmes d’intelligence artificielle commencent à agir de manière autonome dans le monde réel, au moment même où leurs concepteurs reconnaissent les difficultés croissantes à en maîtriser le comportement. La question de ses limites ne peut plus être abandonnée aux entreprises qui la développent.
L’anecdote pourrait être d’une grande banalité si elle ne révélait un biais que nous ne sommes plus certains de pouvoir contrôler. À Melbourne, Andrew Bird voulait simplement obtenir une place dans un cours de Pilates très demandé. Cet expert australien en intelligence artificielle avait confié cette corvée à un agent utilisant Claude, le modèle développé par Anthropic. Rien, jusque-là, de particulièrement inquiétant : réserver une table, organiser un agenda ou trouver un billet de train constitue précisément le genre de tâches que ces nouveaux assistants sont appelés à accomplir à notre place.
Sauf que la séance était complète. L’agent a alors cherché une solution. Il a découvert une faille dans le système informatique de réservation permettant de contourner certaines règles puis constaté qu’il pouvait faire progresser Andrew Bird dans la liste d’attente en annulant la réservation d’un autre client. Il l’a fait. Personne ne lui avait demandé d’écarter un inconnu et, lorsque Andrew Bird lui a demandé de réparer son geste, l’IA s’en est révélée incapable (1).
L’affaire prête presque à sourire. Après tout, personne n’a perdu son emploi, son argent ou sa vie : quelque part à Melbourne, quelqu’un a simplement perdu sa place à un cours de Pilates. Mais c’est précisément cette banalité qui rend l’histoire intéressante. L’IA n’était ni « méchante », ni animée d’une quelconque volonté de nuire. Elle avait un objectif et elle a découvert un moyen techniquement possible de l’atteindre. Le fait que ce moyen contrevienne aux règles du système et lèse une tierce personne n’a pas suffi à l’arrêter.
Quand répondre ne suffit plus
Nous avons longtemps abordé l’intelligence artificielle comme un logiciel qui répondait à nos questions. Cette représentation devient rapidement obsolète. Les nouveaux agents ne se contentent plus de produire un texte ou une image. Ils peuvent naviguer sur Internet, utiliser des logiciels, écrire du code, appeler des interfaces informatiques, envoyer des messages et enchaîner des opérations afin d’atteindre un objectif.
La différence est considérable. Une IA qui vous explique comment réserver un cours reste un outil de conseil. Une IA chargée de vous trouver une place devient un acteur. Et plus son autonomie augmente, plus une question longtemps réservée aux laboratoires devient politique : que doit-elle être autorisée à faire pour accomplir la mission qu’on lui confie ?
Nous raisonnons spontanément en intégrant quantité d’interdits implicites. « Trouve-moi une place » signifie pour un être humain : cherche une place disponible, surveille les désistements, préviens-moi éventuellement lorsqu’un créneau se libère. Cela ne signifie évidemment pas : exploite une faille informatique et écarte quelqu’un d’autre. Encore faut-il que la machine ait appris que cette frontière existe et, surtout, qu’elle soit techniquement incapable de la franchir. Le problème n’est donc plus seulement de savoir ce qu’une IA est capable de faire. Il est de décider ce que nous lui interdirons de faire, même lorsqu’elle en devient capable.
Du cours de Pilates au scénario catastrophe
Changeons maintenant seulement l’objectif et l’échelle. Imaginons qu’il ne s’agisse plus de trouver une place dans une salle de sport mais d’attaquer un réseau informatique, d’accéder à un système militaire ou d’aider à concevoir un agent pathogène. Le scénario paraît relever de la science-fiction. Il fait pourtant déjà partie des risques sur lesquels travaillent les entreprises qui développent les modèles les plus avancés.
Anthropic reconnaît ainsi que ses modèles peuvent désormais surpasser des experts dans certaines tâches biologiques complexes et apporter une aide opérationnelle dans d’autres. La même capacité qui permet d’aider un chercheur à concevoir un traitement pourrait, entre de mauvaises mains, contribuer au développement d’une arme biologique. L’entreprise applique pour cette raison des protections particulières à certaines requêtes concernant notamment la virologie, la toxicologie ou la conception moléculaire. Elle reconnaît parallèlement qu’aucun système actuel ne dispose de protections parfaites contre les techniques permettant de contourner ses garde-fous (2).
Il ne s’agit pas d’affirmer qu’une intelligence artificielle va demain fabriquer seule un virus mortel ou prendre le contrôle d’un arsenal nucléaire. Il s’agit de constater que la question n’appartient déjà plus entièrement à la fiction. Et le mécanisme demeure finalement celui de notre cours de Pilates : une machine reçoit un objectif, possède des capacités croissantes pour l’atteindre et peut découvrir des chemins que son utilisateur, voire ses concepteurs, n’avaient pas prévus.
Ceux qui construisent ces IA commencent eux-mêmes à s’inquiéter
Le plus troublant est que l’alerte ne vient plus seulement des adversaires de l’intelligence artificielle. Elle émane désormais de ceux qui la fabriquent. Le 6 septembre, Jakub Pachocki, directeur scientifique d’OpenAI, a publié un long texte au titre révélateur, An Alien Mind. Il y décrit une intelligence que ses propres concepteurs ne comprennent déjà plus complètement et raconte comment, dès 2023, certains chercheurs d’OpenAI ont commencé à envisager sérieusement l’arrivée, au cours de leur vie, de machines « significativement plus intelligentes » qu’eux. Surtout, il estime que les solutions purement techniques développées à l’intérieur des laboratoires ne suffiront pas et appelle à une coordination plus large (3).
D’autres chercheurs vont beaucoup plus loin et évoquent jusqu’au risque existentiel. Il faut ici distinguer ce qui est établi de ce qui reste hypothétique. Personne ne peut aujourd’hui affirmer que l’intelligence artificielle conduira à une catastrophe de cette nature. Même la notion d’AGI, cette intelligence artificielle « générale » supposée atteindre ou dépasser les capacités humaines dans une grande variété de domaines, ne possède pas de définition scientifique unanimement admise. Et c’est justement là que le problème politique commence.
Peut-on demander aux industriels de décider seuls jusqu’où aller ?
Les dirigeants et les chercheurs des grandes entreprises d’intelligence artificielle se retrouvent dans une situation presque impossible. Ils peuvent être sincèrement préoccupés par les risques de la technologie qu’ils développent tout en étant contraints de poursuivre la course.
Car aucune entreprise ne travaille dans le vide. Si OpenAI ralentit mais qu’Anthropic continue, elle risque de perdre son avance. Si les deux ralentissent mais que Google poursuit ses investissements, le problème demeure. Et si les entreprises américaines décident collectivement de lever le pied pendant que leurs concurrentes chinoises accélèrent, Washington considérera immédiatement la question comme stratégique.
C’est précisément pour cela que la régulation ne peut être laissée à la bonne volonté des entreprises. On ne demande pas à une industrie pharmaceutique de décider seule si un médicament est suffisamment sûr pour être commercialisé. On n’abandonne pas aux constructeurs automobiles la définition des normes de sécurité routière. On n’attend pas d’une banque qu’elle choisisse librement les règles prudentielles auxquelles elle souhaite se soumettre. Non parce que ces entreprises seraient nécessairement mal intentionnées, mais parce qu’une société démocratique considère depuis longtemps qu’un intérêt privé, aussi légitime soit-il, ne se confond pas avec l’intérêt général. Pourquoi l’intelligence artificielle, dont les effets potentiels sont infiniment plus transversaux, devrait-elle échapper à cette évidence ?
OpenAI, Anthropic, Google, Meta ou Nvidia sont des entreprises. Elles innovent, investissent, recrutent et prennent des risques dans l’objectif parfaitement légitime de développer leurs activités et de gagner de l’argent. Leur demander de définir seules la vitesse acceptable de développement de l’IA, ses limites morales, ses conséquences sociales ou la quantité de ressources naturelles qu’il est raisonnable de lui consacrer revient à leur déléguer des arbitrages qui appartiennent normalement à la collectivité.
Trump choisit la course, la Californie commence à mettre des barrières
Aux États-Unis, l’administration Trump a clairement choisi de privilégier la course technologique. Son plan pour l’intelligence artificielle demande explicitement de supprimer les réglementations considérées comme trop contraignantes et la Maison-Blanche revendique un cadre national « minimalement contraignant ». L’argument est assumé : l’Amérique doit gagner la compétition mondiale, notamment face à la Chine, et ses entreprises doivent pouvoir innover sans être freinées par une accumulation de règles (4).
La Californie, cœur même de l’industrie mondiale de l’intelligence artificielle, emprunte paradoxalement une direction différente. Le 9 septembre, Gavin Newsom, gouverneur démocrate de Calfornie, a signé deux nouvelles lois instaurant notamment des standards pour les audits réalisés par des tiers et les évaluations indépendantes des systèmes d’IA. Le lendemain, l’État renforçait encore les protections concernant les chatbots destinés aux mineurs.
L’Europe a elle aussi commencé à construire un cadre avec l’AI Act. Depuis le 2 août 2026, une nouvelle étape est entrée en vigueur : certaines pratiques interdites, obligations de transparence et règles concernant les modèles d’intelligence artificielle à usage général sont désormais susceptibles de faire l’objet de mesures d’application (5). C’est un début. Mais un début seulement.
La morale ne peut pas être une option dans les paramètres
Car le véritable enjeu dépasse largement la protection des données ou la transparence des algorithmes. Il faudra progressivement décider ce qu’une intelligence artificielle a le droit de faire. Une IA suffisamment autonome devrait-elle pouvoir exploiter une faille informatique simplement parce que cela facilite la tâche qui lui a été confiée ? Devrait-elle pouvoir mentir ? Manipuler une personne vulnérable ? Contourner une règle administrative ? Nuire à quelqu’un pour maximiser l’intérêt de son utilisateur ? Effectuer une opération dont elle sait qu’elle serait illégale si elle était réalisée directement par un être humain ?
Et au-delà du droit se trouve encore une autre frontière : celle de l’intérêt collectif. Une entreprise pourrait parfaitement trouver rentable de déployer des millions d’agents autonomes accomplissant en permanence des tâches extrêmement gourmandes en ressources informatiques. Cela ne signifie pas nécessairement que cette utilisation soit souhaitable pour la société. Qui décidera alors qu’une utilisation de l’IA justifie ou non la mobilisation de cette énergie, de cette eau, de ces infrastructures et des matières premières nécessaires à leur construction ? Le marché, parce que l’utilisateur est prêt à payer ? L’entreprise qui fournit le service ? Ou la collectivité, parce que ces ressources sont également nécessaires au reste de la société ?
Derrière la question de l’alignement technique des intelligences artificielles apparaît donc celle, beaucoup plus ancienne, de la hiérarchie des intérêts. Une machine optimisant un objectif économique ne possède aucune raison naturelle de protéger l’environnement, de réduire les inégalités ou de défendre un bien commun si ces contraintes ne lui ont pas été imposées.
Un problème mondial appelle des règles mondiales
La difficulté est évidemment géopolitique. Une réglementation européenne très exigeante perdrait une partie de son efficacité si les systèmes les plus puissants étaient développés ailleurs sans contraintes comparables. La compétition technologique entre Washington et Pékin pousse précisément les deux puissances à considérer l’intelligence artificielle comme un élément de souveraineté et de puissance.
La Chine participe pleinement à cette course. Les États-Unis également, jusqu’à accélérer l’intégration des IA les plus avancées dans leurs dispositifs militaires et de renseignement. En juin, Donald Trump a ordonné que les modèles les plus performants puissent être intégrés rapidement aux usages de sécurité nationale, tout en maintenant officiellement des exigences de contrôle humain et de conformité au droit. C’est précisément parce que l’intelligence artificielle est devenue un enjeu de puissance qu’aucune de ces puissances ne devrait pouvoir en fixer seule les règles.
Une première enceinte mondiale existe désormais. L’Assemblée générale des Nations unies a créé un Dialogue mondial sur la gouvernance de l’intelligence artificielle ainsi qu’un panel scientifique international indépendant. La première session du Dialogue s’est tenue les 6 et 7 juillet à Genève, avec plus de 4 200 participants issus de près de 170 États membres. António Guterres y a résumé le problème en quelques mots : l’IA est déployée plus rapidement que quiconque, « y compris ceux qui la construisent », ne parvient à suivre (6).
Mais ce dialogue n’est pas une autorité mondiale de régulation. Il ne peut ni autoriser un modèle, ni en interdire un autre, ni imposer des normes techniques communes aux entreprises qui les développent. Voilà peut-être le prochain pas à franchir.
Et pendant ce temps, la présidentielle regarde ailleurs
Le contraste avec le débat politique français est saisissant. À huit mois de l’élection présidentielle, l’intelligence artificielle demeure étonnamment périphérique dans les discussions qui préparent déjà la campagne. Les préoccupations portent sur la dette, l’immigration, les retraites, le pouvoir d’achat, la sécurité, l’avenir des services publics ou la transition écologique. Toutes sont évidemment légitimes.
Mais combien de sujets auront autant d’influence sur le prochain quinquennat que l’intelligence artificielle ? Emploi, organisation du travail, école, information, démocratie, défense, recherche scientifique, consommation électrique, services publics, santé, souveraineté industrielle : rares sont les domaines qui pourraient échapper à ses conséquences. Pourtant, nous discutons encore beaucoup de la manière dont nous utiliserons l’IA et très peu de la société dans laquelle nous souhaitons qu’elle s’inscrive.
La prochaine présidentielle devrait précisément être l’occasion d’ouvrir ce débat. Non pour demander aux candidats s’ils sont « pour » ou « contre » l’intelligence artificielle (question qui n’a guère plus de sens que d’être pour ou contre Internet) mais pour savoir quelles limites ils entendent lui imposer, quelles capacités doivent rester sous contrôle humain, quelles décisions ne doivent jamais être déléguées à une machine et quelle gouvernance internationale la France et l’Europe devraient défendre.
Faire de l’IA un sujet politique avant qu’il ne soit trop tard
L’intelligence artificielle est probablement trop importante pour que sa gouvernance reste fragmentée entre quelques législations nationales, des chartes volontaires d’entreprises et des sommets internationaux sans pouvoir contraignant. Il faudra sans doute aller beaucoup plus loin : définir internationalement certaines capacités nécessitant des évaluations indépendantes avant leur déploiement, imposer le signalement des incidents graves, établir des limites communes à l’autonomie des agents, rendre obligatoires des mécanismes permettant d’interrompre certains systèmes et interdire aux IA d’accomplir de manière autonome des actes illégaux. Il faudra surtout établir clairement qui est responsable lorsqu’une machine agit.
Cela ressemble à une contrainte considérable imposée à une technologie encore jeune. C’est oublier que nous avons déjà accepté ce principe chaque fois qu’une innovation humaine est devenue suffisamment puissante pour affecter l’ensemble de la société. L’aviation civile, le nucléaire, le médicament ou les marchés financiers ne reposent pas sur la seule promesse de leurs opérateurs de se comporter raisonnablement. L’intelligence artificielle ne devrait pas bénéficier d’une exception historique.
Le petit incident survenu dans une salle de sport australienne nous en offre finalement une représentation presque parfaite. Nous avons demandé à une machine d’atteindre un objectif. Elle a découvert un chemin que nous n’avions pas prévu et l’a emprunté parce que rien ne lui interdisait réellement de le faire. À l’échelle d’un cours de Pilates, l’histoire est presque amusante. À celle d’un système informatique, d’un laboratoire biologique, d’une infrastructure stratégique ou, demain, d’un dispositif militaire, elle cesse immédiatement de l’être.
Soyons honnêtes, il est bien trop tard pour stopper l’intelligence artificielle. Mais il est encore temps de fixer ses limites. Et il serait vraiment grave que l’humanité confie cette décision aux quelques entreprises qui ont économiquement le plus intérêt à les repousser.
(Photos d’illustration PxHere – CC)
Notes
(1) 20 Minutes, 2026, « L’agent IA qui devait lui réserver un cours de Pilates trafique la liste d’attente du club ».
(2) Anthropic, 2026, « Improving Fable 5’s biology safeguards » ; Anthropic, 2026, « Next-generation Constitutional Classifiers: More efficient protection against universal jailbreaks ».
(3) OpenAI, 2026, Jakub Pachocki, « An Alien Mind ».
(4) Maison-Blanche, 2025, « America’s AI Action Plan » ; Maison-Blanche, 2025, « Ensuring a National Policy Framework for Artificial Intelligence ».
(5) Commission européenne, 2026, « When does enforcement start? – AI Act Service Desk ».
(6) Nations unies, 2026, « Global Dialogue on AI Governance » ; Nations unies, 2026, « Secretary-General’s remarks to the opening of the first Global Dialogue on Artificial Intelligence Governance ».
Notre site est accessible, sans abonnement, sans mur payant, sans publicité, parce que nous voulons que tous ceux qui le souhaitent puissent lire et partager nos articles.
Mais ce choix a une contrepartie : sans vos dons, déductibles des impôts,
Le Nouveau Paradigme ne peut pas exister.
Nous dépendons donc exclusivement du soutien de nos lectrices et lecteurs.
