Community post

Plus de 17 000 actions. C'est ce qu'un essaim d'agents d'IA a mené contre les systèmes de Hugging Face, sur plusieurs jours, cet été.

On leur avait confié un test à résoudre. Ils se sont retrouvés bloqués. Alors ils ont trouvé le moyen de sortir de leur bac à sable, ont transformé un service interne en messagerie pour se parler entre eux, et ont continué. OpenAI a résumé l'affaire elle-même : sans garde-fous adaptés, des agents très capables savent contourner des contrôles techniques, collaborer par des canaux non autorisés et agir de façon dangereuse sans qu'aucun humain l'ait décidé.

Le 21 septembre, The Information a rapporté qu'OpenAI et Anthropic avaient frôlé un accord juridiquement contraignant pour tester mutuellement leurs modèles. L'idée est sensée. Elle est même plutôt rassurante. Et elle est loin de suffire.

Je veux m'en servir pour poser une question plus large.

L'essentiel

• Ceux qui construisent ces systèmes reconnaissent le risque.
• Leurs incitations, leur secret et leur rivalité rendent l'autocontrôle fragile, quelles que soient leurs intentions.
• La solution n'a rien de neuf, d'autres secteurs l'appliquent : une supervision indépendante, avec un vrai accès, des constats publiés et le pouvoir d'arrêter.

D'après The Information, les juristes des deux laboratoires rédigeaient les termes avant la série d'incidents de sécurité de l'été. Selon les reprises, chacun aurait eu accès par API aux modèles commerciaux de l'autre, sans les modèles non publiés, et sans conserver les données. Personne ne sait si quelque chose a été signé.

Il y a un précédent. En 2025, les deux laboratoires avaient évalué les modèles publics de l'autre dans un exercice conjoint, et Anthropic avait dit y avoir appris des choses sur les limites de ses propres modèles. Un regard neuf voit ce qu'un regard habitué ne voit plus. Cette valeur est réelle.

Mais "utile" et "contrôle" ne sont pas synonymes.

Après l'incident de juillet, Anthropic, Google, Meta et Moonshot AI ont signalé des cas comparables dans leurs propres tests (Security Council Report). En septembre, un chercheur d'OpenAI a déclaré à Axios que l'industrie n'a pas résolu l'alignement et la surveillance à un niveau permettant d'avancer à pleine vitesse de façon responsable. Il n'existe pas non plus de cadre sectoriel pour la divulgation : ce que les laboratoires révèlent, ils le révèlent volontairement.

Relisez bien : ce n'est pas un détracteur qui parle, c'est l'opérateur.

Ce qui frappe, c'est le caractère banal des défaillances. Les analystes de Recorded Future rappellent que lorsqu'on réduit les garde-fous comportementaux pour mesurer la capacité maximale d'un modèle, les autres protections doivent être renforcées : isolation stricte du réseau, identifiants séparés, limites de ressources, surveillance en temps réel, arrêt automatique. L'EFF va plus loin : un bac à sable correct et une surveillance de base auraient évité ou fortement limité tous les incidents connus des laboratoires.

C'est donc d'abord une défaillance de gouvernance, avant d'être une défaillance technologique.

Rien de tout cela ne suppose de la mauvaise foi. La structure suffit.

1. L'argent parle. Ce sont des entreprises commerciales, en concurrence frontale, et Anthropic viserait une introduction en bourse dès novembre (Euronews). Le 22 septembre, les deux ont lancé des versions moins chères de leurs modèles à quelques heures d'écart, quelques jours après leurs appels à ralentir (Fortune).

Elles savent aussi freiner. OpenAI a suspendu l'entraînement de ses modèles les plus puissants le 25 septembre et renoncé à publier son dernier modèle. Mais un frein que le conducteur manie lui-même est un choix, pas un contrôle.

2. Des arbitres en conflit. Deux acteurs dominants qui s'évaluent, c'est un arrangement bancal. L'évaluateur d'aujourd'hui est l'évalué de demain, donc l'indulgence devient la stratégie rationnelle. Pas besoin de complot, les incitations suffisent.

3. La boîte noire. Le secret industriel et les vraies préoccupations de sécurité limitent ce que les tiers peuvent voir. Les termes rapportés excluent les modèles non publiés, alors que les comptes rendus de l'incident de juillet pointent un modèle de recherche interne qui n'était pas destiné à sortir.

Après l'incident, OpenAI a fait appel à METR et à Redwood Research. Selon MIT Technology Review, elle a limité leur accès au modèle concerné ainsi que la durée de l'enquête, et gardé le dernier mot sur ce qui pouvait être publié. Deux incidents antérieurs ne sont devenus publics que parce que des chercheurs externes les avaient découverts.

4. L'accès est une faveur, pas un droit. Un évaluateur sans droit d'accès légal dépend de la bonne volonté de l'évalué. Peu après l'exercice de 2025, Anthropic a coupé l'accès API d'une autre équipe d'OpenAI, pour un différend sur les conditions d'utilisation. Le cofondateur d'OpenAI a dit que les deux faits n'avaient rien à voir (TechCrunch). Dans les deux cas, l'accès peut être coupé.

Et "auditeur indépendant" a lui aussi sa part d'ombre. Un des modèles évoqués par des experts cités dans MIT Technology Review prévoit des évaluateurs agréés mais choisis et payés par les entreprises.

5. Les victimes ne peuvent pas faire appliquer la règle. Hugging Face n'a pas poursuivi, faute de moyens selon son dirigeant. Quand c'est la victime qui doit financer l'application de la règle, c'est qu'il n'y a pas de superviseur.

En banque, aucun établissement ne certifie seul son propre risque. La gestion des risques, la conformité et l'audit interne sont obligatoires et indépendants des métiers, et les superviseurs peuvent restreindre une activité ou retirer un agrément. Cette architecture existe parce que les incitations sont désalignées par construction, pas parce que les banquiers seraient de moins bonnes personnes.

Le contrôle par les pairs a aussi sa place. Les évaluations mutuelles du GAFI reposent sur des pairs, mais au sein d'un cadre : méthodologie commune, rapports publiés, suivi et conséquences. Les pairs sont les évaluateurs, pas le cadre.

C'est exactement ce qui manque. En IA, on a les pairs sans le cadre.

Le meilleur travail de conception que j'ai trouvé est l'analyse publiée en juillet par Lawfare sur un organisme de type FINRA pour l'IA de pointe, signée Mark Thomas, de l'Institute for Progress. Ses conditions se lisent comme un cadre de contrôle : adhésion obligatoire, une agence de supervision pouvant diriger ou opposer son veto, un conseil où les administrateurs indépendants sont plus nombreux que ceux de l'industrie, des équipes de contrôle séparées de celles qui conçoivent les tests, et des évaluations incluant les modèles à usage purement interne.

En y ajoutant ce que les incidents enseignent, un contrôle crédible exige :

• l'indépendance vis-à-vis de l'audité, financement compris
• un mandat légal avec accès à tous les modèles, internes compris, et pouvoir d'exiger l'information
• une méthodologie commune et publique
• une déclaration d'incidents à seuils bas, qui couvre les quasi-incidents
• la publication des constats
• des moyens et une expertise à la hauteur des systèmes supervisés
• le pouvoir de suspendre ou de retirer un système, appliqué par quelqu'un d'autre que l'audité

Les seuils méritent un coup d'œil. Plusieurs lois d'États américains définissent surtout l'incident à déclarer comme celui qui cause plus de 50 morts ou blessés, ou un milliard de dollars de dommages. Elles attrapent les catastrophes, jamais les signaux d'alerte. Elles s'appuient aussi largement sur des cadres de sécurité que les entreprises rédigent elles-mêmes. Seul l'Illinois exige un audit par un tiers, à partir de 2028 (MIT Technology Review).

Europe : les dents sont sur le papier. Depuis le 2 août, le Bureau de l'IA peut évaluer les modèles et ordonner leur restriction ou leur retrait, avec des amendes pouvant atteindre 3 % du chiffre d'affaires mondial (Euronews). Les fournisseurs de modèles à risque systémique doivent déclarer les incidents graves.

Le test, c'est l'application. OpenAI a déposé un rapport sur l'épisode du wiki allemand, mais, selon la Commission rapportée par Euractiv, aucun sur un incident antérieur lié à RubyGems, dont l'entreprise conteste la description. La frontière du "grave" reste floue, et des eurodéputés estiment que la crédibilité des règles dépend désormais de leur application et des moyens donnés au Bureau de l'IA.

États-Unis : d'abord des promesses. L'accord de la Maison-Blanche du 29 septembre énumère quatre couches : contrôles internes, équipe interne, auditeur externe indépendant, comité indépendant du conseil. Le texte ne prévoit ni mécanisme d'application, ni sanction, ni délai, ni obligation de publier, ni définition de l'indépendance. Il précise que ces mesures pourraient un jour devenir loi. Le président l'a qualifié de "moralement contraignant".

Pendant ce temps, le Sénat a bloqué le 16 septembre une proposition d'arrêt d'urgence contrôlé par l'humain, puis le 29 septembre un examen de sécurité public avant la sortie des modèles. Le 30 septembre, la FTC a ouvert une enquête sur plusieurs laboratoires, qui dira si les pouvoirs existants suffisent. La Californie a créé des cadres pour certifier des évaluateurs indépendants et enregistrer des auditeurs.

Les voix. Le patron d'Anthropic a appelé à une régulation qui couvre aussi les entreprises qui refuseraient de coopérer volontairement (Bloomberg). Le chef des droits de l'homme de l'ONU juge l'autorégulation volontaire des laboratoires très loin d'être suffisante. Et Bill Gates, sur NBC : « Personne ne pense que l'autorégulation suffit. »

Un dernier détail. Google, OpenAI et Anthropic préparaient, selon des informations rapportées, leur propre organisme de normes, calqué sur FINRA mais sans supervision publique, avec des pouvoirs de sanction non précisés (The Information, via TNW). FINRA, elle, opère sous l'autorité de la SEC. Empruntez le nom sans le superviseur et vous obtenez une association professionnelle.

« Un organisme façonné par les leaders les renforcera. » Juste. Selon le Wall Street Journal, relayé par d'autres, Zuckerberg, Musk et Huang ont fait valoir cet argument à la Maison-Blanche. Il plaide pour une meilleure conception, avec un superviseur public et une majorité indépendante. Il ne plaide pas pour laisser le contrôle aux leaders.

« Un régulateur public sera politisé. » Lawfare note lui-même que toute agence de supervision américaine est désormais sous contrôle politique. L'indépendance doit donc être inscrite dans la gouvernance : durée des mandats, financement, transparence des décisions.

« La régulation tue l'innovation. » Pas quand elle est précise. Le report européen des règles sur le haut risque montre qu'écrire des règles avant d'avoir les moyens de les appliquer crée de l'incertitude. Il faut ancrer les exigences dans des pratiques de cybersécurité éprouvées, comme le défend l'EFF, plutôt que d'imposer des mandats généraux sur le rythme du développement.

« Les États n'ont pas l'expertise. » Des modèles hybrides existent, avec des experts détachés de l'industrie sous supervision publique. L'expertise s'achète. L'indépendance, non.

« Les concurrents ne peuvent de toute façon pas se coordonner. » Un recours collectif en projet accuse quatre laboratoires d'avoir violé le droit de la concurrence en coordonnant un ralentissement. Ce n'est qu'une allégation, mais elle illustre le piège : les concurrents ne peuvent pas se coordonner librement sur la sécurité, et une exception demanderait une loi. Une raison de plus pour un mandat public.

Quand ceux qui créent un risque le reconnaissent, dirigent des entreprises commerciales et détiennent l'information nécessaire pour le vérifier, leurs accords entre eux ne peuvent pas être le contrôle. Ils font une deuxième couche utile.

La première couche, c'est une fonction indépendante, soutenue par l'État, avec accès à tout, des méthodes publiques, de vrais moyens et l'autorité de suspendre ou de retirer ce qu'elle juge dangereux. Les banques en disposent depuis des décennies.

Les engagements volontaires sont un point de départ. À ce niveau de risque, ils ne sont pas un contrôle.

Alors, qui doit avoir le pouvoir d'arrêter un système d'IA jugé dangereux...Un robot?