Semaine du 5 octobre : c'est quoi, au juste, le doom ?

Lundi 5 octobre, nous avons relancé le Dîner Machine : une douzaine de personnes, avec un niveau de familiarité varié avec la sûreté de l'IA, se sont retrouvées autour d'un repas convivial pour discuter du sujet. Le thème, c'était Prédictions et p(doom), et une question est vite apparue : c'est quoi, au juste, le doom ? De fil en aiguille, nous en sommes arrivé·e·s à partager nos définitions, que je rapporte ci-dessous.

L'actu IA en bref

Semaine chargée : trois sorties de modèles de pointe, et du mouvement côté gouvernance.

• Mistral sort « Le Chonk » (Mistral Large 4). Un modèle multimodal à 1 050 milliards de paramètres (49 milliards actifs), fenêtre d'un million de tokens, entraîné dans des datacenters européens. Un champion européen qui vise les modèles fermés de pointe tout en restant (bientôt) open-weight. TechCrunch
• Google dévoile Gemini 4 (« Argon »). Son modèle le plus performant, mais dont l'accès est d'abord restreint pour raisons de sécurité : réservé à un cercle d'experts en cybersécurité. Même Google opte pour une sortie « par paliers » au nom de la sûreté. Yahoo Finance
• L'IA au service des cyberattaques. La dernière newsletter du CAIS alerte sur l'usage de l'IA contre les infrastructures critiques ; plus de 100 entreprises appellent les États à traiter la cyberdéfense comme une urgence. AI Safety Newsletter
• La Finlande et la Norvège mènent un appel de 22 pays pour encadrer l'IA de pointe. Portée par Alexander Stubb et Jonas Gahr Støre, la déclaration demande que l'IA reste « sous contrôle humain ». Signée par 22 pays, mais pas par les États-Unis, la Chine, ni — pour l'instant — la France. Al Jazeera

La table : définitions du « doom »

Nous étions environ quatre à nous connaître avant l'évènement : plein de nouvelles têtes ! Parmi les invités, certain·e·s étaient chercheur·e·s en sûreté de l'IA, mais aussi un étudiant curieux suite au livre If Anyone Builds It, Everyone Dies, un organisateur d'évènements similaires au Japon, une ingénieure et entrepreneuse qui découvrait le domaine, et un ami venu s'informer suite à « I'm upping my p(doom) », ce clip musical devenu viral.

Histoire de nous situer les un·e·s par rapport aux autres, j'ai proposé que chacun·e écrive son p(doom) sur son étiquette de prénom, et là aussi, une grande diversité : entre 10 % et 70 % environ. Qu'est-ce qu'on essaie d'empêcher, au juste ? Yael, chercheuse en alignement au programme SPAR, a proposé qu'on écrive tous·tes notre définition du doom. Trois catégories ont émergé :

1. La perte de contrôle : au niveau du gouvernement, de la recherche, mais aussi de nos institutions.
2. La destruction de la fabrique sociale : perdre la coordination et la communauté humaines qui nous ont permis de nous épanouir. Plus les humains comptent sur une superintelligence pour prendre en charge leur vie, moins ils entretiennent de relations de confiance entre eux.
3. L'extinction de l'humanité : qu'elle soit totale ou partielle, une comparaison courante dans le domaine (voir la déclaration du CAIS, ou le Petrov Day).

Malgré la variance des paramètres, tout le monde s'accordait sur le fait qu'on voulait éviter une conséquence négative pour l'immense majorité de l'humanité, causée par la montée incontrôlée des agents d'intelligence artificielle.

Les prédictions

À l'heure où j'écris, une de nos prédictions s'est déjà réalisée : OpenAI a publié un immense dépôt GitHub de preuves mathématiques produites par un de ses modèles internes. Félicitations à notre invité bien calibré ;)

Chacun·e a imaginé un évènement de la semaine à venir, à parier sur Manifold (on fait les comptes au prochain dîner) :

• Une démission dans un grand laboratoire d'IA (60 %)
• Un·e influenceur·se de la droite américaine révélé·e comme étant une IA (90 %)
• Un nouveau modèle en tête du leaderboard Artificial Analysis (60 %)
• Un site utilisé par des agents pour se coordonner, découvert (95 %)
• Un État mène une cyberattaque via l'IA contre un autre (60 %)

Prochains rendez-vous

Lundi 12 octobre — Dîner Machine #3. Thème « Trajectoire » : comment avoir un impact concret en sûreté de l'IA, et on ouvre les prédictions. Restaurant Godjo, 8 rue de l'École Polytechnique, 75005, 19h.

Dimanche 18 octobre — Banc d'Essai. L'atelier pratique pour se familiariser avec la sûreté de l'IA en démarrant de petits projets, sans prérequis. Agora Studio, 53 rue de Cléry, 75002, 14h–17h.

Pour ne rien rater, suivez aisafety.paris et venez aux dîners.