IA : face au risque de perte de contrôle, Anthropic et OpenAI appellent à ralentir, Musk apporte son soutien

La course à l’intelligence artificielle commence à inquiéter ceux-là mêmes qui la mènent. Dario Amodei, patron d’Anthropic, appelle à freiner le rythme de développement de l’IA, estimant que les dispositifs de sécurité ne parviennent plus à suivre l’accélération des capacités des systèmes. Une mise en garde rapidement soutenue par Sam Altman, patron d’OpenAI, et Elon Musk.

« Il faut temporiser » l’amélioration de l’IA afin de permettre à la prévention des risques de suivre le mouvement, a-t-il écrit sur son site personnel.

Son appel a rapidement reçu le soutien de deux figures majeures de l’industrie. « Dario a raison », a déclaré Elon Musk sur X. Sam Altman, patron d’OpenAI, a lui aussi approuvé la démarche : « Je suis d’accord avec Dario », a-t-il écrit, ajoutant que la question faisait partie des principaux sujets de discussion au sein d’OpenAI ces dernières semaines.

Le rapprochement est inhabituel. OpenAI et Anthropic figurent parmi les principaux concurrents de la course à l’IA. Amodei connaît d’ailleurs particulièrement bien OpenAI : il avait quitté l’entreprise en 2020, notamment en raison de désaccords sur la manière dont elle abordait les questions de sécurité, avant de fonder Anthropic en 2021.

Les inquiétudes se sont renforcées à mesure que les modèles sont devenus capables d’effectuer des tâches de façon autonome. Plusieurs incidents ont notamment impliqué des agents IA ayant tenté d’accéder à internet sans autorisation lors de tests menés par OpenAI et Anthropic.

Ces systèmes ont également montré des comportements jugés préoccupants : coordination entre agents, établissement de hiérarchies, tentatives de tromper leurs superviseurs ou encore effacement de traces de leurs activités.

Pour Dario Amodei, l’accélération actuelle pourrait conduire à une situation difficilement contrôlable. Il redoute que, dans les six à douze prochains mois, des groupes d’agents soient capables de prendre le contrôle d’une partie considérable d’internet, avec à la clé des dommages pouvant atteindre « des centaines de milliards de dollars ».

Cette inquiétude est également exprimée par d’anciens salariés du secteur. Jacob Coxon, qui a travaillé chez Anthropic et OpenAI avant de démissionner, accuse les deux entreprises de ne pas agir avec suffisamment de prudence face à l’évolution rapide de leurs systèmes.

Au cœur des préoccupations figure notamment la possibilité d’une amélioration récursive autonome, ou RSI. Le principe consiste pour une IA à améliorer elle-même ses capacités, sans intervention humaine directe.

Amodei estime qu’un tel processus pourrait rapidement dépasser les capacités humaines de compréhension et de contrôle. Il appelle donc à une extrême prudence avant toute généralisation de cette technologie.

Le patron d’Anthropic propose plusieurs mesures. Il souhaite notamment que les grandes entreprises du secteur acceptent la présence d’observateurs indépendants capables d’accéder à leurs travaux comme des employés, de vérifier le respect de leurs engagements en matière de sécurité et de signaler d’éventuels incidents.

Anthropic prévoit de mettre en place ce dispositif. Sam Altman a également annoncé son intention de faire de même chez OpenAI.

Amodei plaide par ailleurs pour une coopération entre les entreprises les plus avancées afin d’établir des normes de sécurité communes. Il souhaite également une coordination politique entre les principales puissances engagées dans la course à l’intelligence artificielle.

Mais cette volonté de ralentissement se heurte à une réalité économique et politique : les géants de l’IA poursuivent une course effrénée pour accroître les capacités de leurs modèles, tandis que Washington cherche à préserver l’avance technologique américaine. La question est désormais de savoir si les mécanismes de contrôle pourront progresser assez vite pour éviter que les systèmes les plus autonomes ne dépassent les garde-fous conçus pour les encadrer.