« Les entreprises d’intelligence artificielle jouent avec nos vies » : cette déclaration attribuée à Jacob Cocksone, ancien chercheur d’Anthropic, relance le débat sur les risques liés à la progression rapide des systèmes d’IA.

Dans des prises de parole récentes, Cocksone affirme que les principaux acteurs du secteur avancent vers des systèmes capables de contribuer à leur propre amélioration et que certains chercheurs redoutent des conséquences potentiellement catastrophiques. Un autre ancien membre de l’équipe de sécurité d’Anthropic, Joe Benton, aurait également averti que les entreprises développent des machines « beaucoup plus intelligentes que n’importe quel humain », avec la possibilité que l’humanité ne puisse pas maîtriser cette évolution.

Ces alertes interviennent alors que Dario Amodei, PDG d’Anthropic, appelle à davantage de prudence face à l’accélération des capacités de l’IA. Sam Altman, dirigeant d’OpenAI, aurait exprimé son accord avec cette démarche, tandis qu’Elon Musk et Demis Hassabis, patron de Google DeepMind, ont également réagi favorablement à l’idée. Au cœur des inquiétudes figure notamment l’« auto-amélioration récursive » : des systèmes suffisamment autonomes pourraient contribuer à concevoir ou optimiser des systèmes encore plus performants. Les agents IA accentuent cette problématique puisqu’ils peuvent recevoir un objectif, accéder à des outils et enchaîner plusieurs actions sans intervention humaine à chaque étape.

Mais entre risque réel et scénario extrême, la prudence s’impose. Les démonstrations évoquées dans certains tests d’agents IA montrent que des systèmes peuvent adopter des comportements inattendus dans des environnements contrôlés, mais elles ne démontrent pas qu’une IA est aujourd’hui capable de prendre le contrôle d’Internet ou de menacer directement l’humanité. Amodei avance néanmoins des scénarios dans lesquels des agents beaucoup plus puissants pourraient causer des dommages considérables dans les prochains mois. D’où sa proposition de renforcer les contrôles, notamment en permettant à des évaluateurs indépendants d’examiner les dispositifs de sécurité des entreprises. La question centrale n’est donc plus seulement de savoir jusqu’où l’IA peut progresser, mais de déterminer quels garde-fous, quelles évaluations et quelles règles doivent accompagner cette progression.

Auteur

La rédaction

Parlons de vous