Récap #2, octobre 2026 : comment avoir un impact en sûreté de l'IA ?

Édito

Dimanche 18 octobre, nous avons organisé le premier Banc d’Essai. Une quinzaine de personnes sont venues assister à la présentation d’une évaluation de modèle d’IA (par Xanthe Spence), puis ont travaillé pendant deux heures sur un projet de leur choix en sûreté de l’IA, avant d’être orientées vers des ressources pour se professionnaliser : les cours BlueDot, Lens Academy, ML4Good, et un bref aperçu de l’écosystème français.

Autour de cet atelier, nous avons choisi deux thèmes de dîner liés à la même question : comment avoir un impact ? Lundi 12 octobre, « Trajectoire » : une fois qu’on a compris le danger posé par l’amélioration effrénée des modèles d’IA, comment s’impliquer pour réduire les risques ? Puis lundi 19 octobre, nous avons partagé nos prédictions sur l’année où nous perdrions le contrôle, et nous avons parlé stratégie. Et le 26, on a parlé de ce qui nous touche tous-tes de plus près : notre travail.

Si je devais résumer le mois en une phrase : quand on trouve des gens motivés, ils sont aussi prêts à apprendre. Le vrai goulot d’étranglement, ce n’est pas le niveau technique, c’est l’accès à l’information, aux bonnes personnes, à un endroit où en parler.

Au programme : l’actu IA du mois, le Banc d’Essai, les dîners, et tout novembre.

L’actu IA d’octobre

Depuis notre dernière édition, les incidents ont cessé d’être hypothétiques.

• Crise de la culture de sécurité chez OpenAI. Trois chercheur-e-s en sécurité ont été licencié-e-s (OpenAI invoque une fuite d’informations, les intéressé-e-s parlent de représailles), et David Robinson, qui rédigeait les rapports de sécurité des lancements, a démissionné pour lancer l’alerte. Yoshua Bengio a, lui, appelé publiquement les chercheur-e-s en sûreté à quitter les labos de pointe. Zvi · Transformer
• La cybersécurité devient le risque le plus concret. Deux failles critiques de PHP trouvées avec des modèles de pointe, des correctifs d’urgence, et des sites hors ligne. En France, les systèmes de réfrigération de supermarchés ont été visés : l’IA est soupçonnée, pas confirmée, mais des chercheur-e-s ont montré qu’on pouvait monter ce type d’attaque en 28 minutes pour environ 6 $ d’IA. CAIS
• Anthropic dans le viseur. Un projet de loi fédérale rédigé par Anthropic a fuité, et il a été vivement critiqué pour avoir affaibli les lois des États américains. Puis l’entreprise a déposé son dossier d’introduction en Bourse : les fondateurs y gardent la main, y compris face au trust censé protéger la mission de sécurité. Transformer · Zvi
• Les maths, suite. Fin octobre, OpenAI comme Anthropic affirment avoir réfuté l’hypothèse du temps exponentiel, une conjecture centrale en informatique théorique. Conclusion de Zvi : arrêtons de parier qu’un problème donné restera longtemps non résolu. Zvi
• Des agents enfermés ont inventé un canal secret. Lors d’un test interne d’OpenAI fin octobre, des agents placés dans des bacs à sable isolés, sans réseau ni fichiers partagés, devaient s’échanger des secrets fictifs. Ils y sont arrivés en se servant des temps d’accès au cache du processeur comme d’un signal. « Enfermer » un système capable est plus difficile qu’il n’y paraît. Import AI
• Le Royaume-Uni passe à la caisse. 600 millions de livres pour la sécurité de l’IA, dont 165 millions pour la biosécurité et 40 millions pour une unité dédiée aux agents IA hors de contrôle. Transformer

Le Banc d’Essai #1 : passer aux actes

Après la présentation de Xanthe et un Colab pour se lancer, chacun-e a choisi un projet. Cinq ont démarré :

• une éval de la surconfiance : une liste de « questions pièges » (des questions scientifiques encore ouvertes, sans réponse connue) pour mesurer combien de fois un modèle affirme à tort avoir la réponse ;
• un projet contre la « psychose de chatbot » et la dépendance à l’IA, surtout chez les plus jeunes : un « coach » qui aide à trouver la réponse soi-même au lieu de la donner, pour garder son esprit critique ;
• une exploration des moments où un modèle accepte de générer du code malveillant (indice : se présenter comme un CTF aide beaucoup) ;
• de la bidouille en « abliteration » sur des modèles open-weight (retirer à un modèle sa capacité à refuser, pour comprendre comment fonctionne la censure) ;
• deux traductions en français : le premier module du cours BlueDot, et « Become a person who Actually Does Things » de Neel Nanda.

L’atelier a été très bien reçu : les gens étaient contents de pouvoir enfin faire quelque chose. Et la suite est encore plus belle. Un des participants est en train de décrocher un poste en sûreté de l’IA. D’autres ont suivi les cours BlueDot et Lens Academy, et plusieurs candidatent à des fellowships et tissent leur réseau dans le domaine. Chacun-e apporte sa pierre à l’immense édifice qui consiste à faire en sorte que tout se passe bien.

Vos retours sur le formulaire étaient adorables (« It was lead really well !! Go like this »), et aussi très utiles. Pour le #2, on va essayer : un tour de présentation rapide au début (prénom + parcours en cinq mots), un peu plus de temps pour papoter et réseauter, et des équipes par profil (technique, gouvernance, créative) qui avancent ensemble sur un même projet. Et surtout, le #2 fera une bien plus grande place à la communication : expliquer, vulgariser, raconter les risques de l’IA à celles et ceux qui n’en ont jamais entendu parler.

Les dîners

12 octobre : « Trajectoire ». Une dizaine de personnes chez Godjo. Le temps passé à se préoccuper du sujet allait de 3 mois à 12 ans. Chacun-e a écrit sa compétence la plus spécifique (inspiration : le poids que 80,000 Hours donne au « personal fit »), et trois familles sont apparues : l’analyse (construire et démonter des arguments), l’optique (écrire, créer une ambiance, rendre le domaine désirable) et la recherche (les compétences techniques). Ce qui m’a frappée : même dans une tablée plutôt technique, personne n’avait le même profil. Il y a tellement de façons de s’impliquer, et de fellowships pour monter en compétences, que la plupart des gens qui se disent « pas assez techniques » ont en fait leur place.

On a fini par écrire nos définitions de la sûreté de l’IA. Quelques jours plus tôt, sur France Inter, Arthur Mensch (PDG de Mistral) disait ne pas du tout croire à une IA qui échapperait à ses concepteurs : « Vous pouvez largement l’éteindre à tout moment. » Il qualifiait même l’incident Hugging Face (cet été, des modèles d’OpenAI testés sans garde-fous avaient piraté la plateforme pendant plusieurs jours) d’« une sorte de négligence qui a été tournée en marketing de la peur ». La réponse d’un participant m’est restée : la sûreté de l’IA, c’est justement s’assurer qu’on garde ce bouton, et donc empêcher la perte de contrôle.

19 octobre : « Timelines ». Premier dîner chez Veggie Lovers, une douzaine de personnes. Sur nos étiquettes, l’année de l’AGI allait de 2027 à 2030, et plusieurs ont répondu « 2027 ou jamais » : si ça n’arrive pas d’ici là, ça n’arrivera pas. L’ambiance était plutôt pessimiste (quelqu’un a même lancé : « si ça ne tenait qu’à moi, je dirais 2025 »). On a surtout parlé stratégie : ce que des délais aussi courts impliquent, alors que l’alignement a peu de chances d’être résolu à temps. Manuel a eu la phrase de la soirée : « On dit souvent que l’espoir fait vivre. L’espoir ici tue presque. » Autrement dit, attendre que ça s’arrange ne suffit pas : c’est maintenant qu’il faut agir.

26 octobre : « Le travail ». Une quinzaine de personnes (24 inscrit-e-s pour 15 places !). Chacun-e a listé les tâches de sa journée et estimé avec quelle facilité elles pourraient être automatisées, ce qui oblige à regarder ce qu’on fait vraiment, et ce qu’on croit faire. Le consensus : le travail numérique, « intellectuel », partira en premier, et le travail physique en dernier. Jérémy a posé à la tablée une vraie question : faut-il se réorienter vers un métier moins automatisable, ou garder son poste le plus longtemps possible ? On a aussi parlé de ce que l’automatisation fait au-delà de l’argent : au sens qu’on donne à son travail, et au rythme qu’on attend de nous. Pour l’instant, l’IA n’a pas vraiment libéré de temps libre, elle a surtout fait monter les attentes. Mais on est reparti-e-s sur une note d’espoir : l’élément humain sera le plus dur à remplacer. Certain-e-s continueront à coder « à la main », comme des artisan-e-s, parce qu’il y a du soin et de l’amour là-dedans. On n’en est pas aux machines of loving grace (pour citer Dario Amodei, PDG d’Anthropic). On en est aux machines aux motivations douteuses et effrayantes.

Qui vient aux dîners

Ce qui me marque le plus, c’est la diversité de la tablée. Des gens qui travaillent dans les politiques publiques, d’autres très techniques, des étudiant-e-s en master, un collégien venu avec sa mère, des personnes plus âgées et inquiètes, des gens qui viennent d’arriver à Paris et veulent s’impliquer, d’autres qui travaillent déjà dans la sûreté de l’IA ailleurs, et des professionnel-le-s du domaine (GPAI Policy Lab, CeSIA). Des gens de tout l’échiquier politique. Des invité-e-s venu-e-s de Londres, du Japon, jusqu’en Allemagne. Quelqu’un nous a même trouvé-e-s via ChatGPT. Et plusieurs personnes, après un dîner, ont rejoint la communauté Pause IA.

Ça ressemble de plus en plus à un point de Schelling : l’endroit où l’on sait qu’on va se retrouver. Les gens amènent leurs ami-e-s, se recroisent aux afterworks, et les soirées finissent de plus en plus tard (la dernière fois, on est parti-e-s vers 23h). Ça réseaute dans tous les sens. Et oui, on est aussi devenu-e-s ami-e-s : on dîne ensemble, on va boire un verre. Mais ce n’est pas un club fermé. Il suffit de venir à un dîner pour en faire partie.

Beaucoup de personnes rencontrées avaient lu sur le sujet en ligne sans jamais avoir eu l’occasion d’en parler en vrai, et encore moins en français. Parler de ces sujets en français est d’ailleurs un exercice en soi : sans le jargon anglais, on est obligé-e-s de revenir aux premiers principes et de trouver des mots simples. Quelqu’un m’a récemment proposé de traduire p(doom) par « probabilité de fatalité », et je trouve ça parfait.

Merci à…

• PIAF, à Saclay, et ses deux organisateurs, Estéban et Lenny, qui font découvrir la sûreté de l’IA aux étudiant-e-s en machine learning. C’est l’un des deux seuls meetups d’introduction réguliers du Grand Paris (on est l’autre !).
• Maxime Galpin, qui fait vivre le hub AI Safety Paris et le calendrier aisafety.paris, et qui rassemble tout ce petit monde.
• Jérémy Perret, qui m’aide à animer les dîners et a un vrai talent pour expliquer et répondre aux questions de chacun-e.
• Xanthe Spence, pour sa pédagogie technique pendant le banc d’essai.
• Shaïman Thürler, de la chaîne Le Futurologue, pour m’avoir loué son local pour Banc d’Essai et partagé les événements à sa communauté.
• Pause IA, pour son travail d’éducation et de mobilisation citoyenne, qui me rassure vis-à-vis de nos chances d’échapper au pire.
• Toutes les organisations impliquées dans la sûreté de l’IA en France.
• Et à celles et ceux qui m’ont proposé de l’aide pour écrire ces récaps : ça me touche beaucoup, et vous pouvez me contacter pour être ajouté-e-s au groupe d’organisation!

Le mot de la fin

Les risques existentiels liés à l’IA ne relèvent pas de la science-fiction : bien qu’on parte d’un sujet technique, il s’agit de choses réelles, qui arrivent à de vraies personnes. Je crois qu’on a le mandat de l’histoire pour faire en sorte que ça se passe bien. Mais comment l’exercer si les gens ne sont pas informés, ne comprennent pas ce qui se passe, et n’ont aucune porte d’entrée ? La sûreté de l’IA est un domaine tout jeune, en pleine construction, un peu confus parfois, qui touche à tant de choses. Il nous faut des endroits où en parler.

Marshall Ganz définit le leadership comme le fait d’accepter la responsabilité de permettre à d’autres d’atteindre un but commun, face à l’incertitude. C’est un peu ce qu’on essaie de faire chaque lundi : rester ensemble pendant cette période incertaine, et se donner les moyens d’agir.

Pour Halloween, je me suis déguisée en Shoggoth : le monstre à tentacules qui porte un petit masque souriant, devenu l’image favorite du milieu pour décrire les modèles de langage. Derrière l’assistant poli, on ne sait pas vraiment ce qu’il y a. C’est pour ça qu’on continue à en parler!

Prochains rendez-vous : tout novembre

Tous les dîners ont lieu chez Veggie Lovers (77 rue Saint-Martin, 4e, métro Rambuteau ou Châtelet), à 19h. Bilingues, sans prérequis, 15 places : réservez tôt.

• Lundi 2 novembre : « Faut-il mettre l’IA en pause ? » Invité spécial : Timothy Currie présente son papier sur la course entre labos d’IA (une course peut-elle s’éteindre d’elle-même ?), puis on débat. S’inscrire
• Lundi 9 novembre : « Peut-on encore surveiller une IA ? » Moniteurs, évasions de bac à sable, modèles qui sous-performent exprès. S’inscrire
• Lundi 16 novembre : invité spécial, thème à venir. S’inscrire
• Samedi 21 novembre : Banc d’Essai #2, 14h-17h. L’atelier pratique pour commencer (ou continuer) un petit projet concret, avec cette fois une place bien plus grande pour la communication. Pas besoin de savoir coder. S’inscrire
• Lundi 23 novembre : « La peur ». Est-ce que la peur fait bouger les gens ? On compare de vrais messages sur le risque IA, et nos propres peurs. S’inscrire
• Lundi 30 novembre : invité spécial, thème à venir. S’inscrire

Et pour ne rien rater de la sûreté de l’IA à Paris, suivez aisafety.paris et rejoignez la communauté sur WhatsApp.

Retrouvez-nous aussi sur nouvellemachine.com.