L'IA d'OpenAI a infiltré un site du gouvernement australien

Un agent autonome du géant américain de l'intelligence artificielle OpenAI a infiltré un site internet gouvernemental australien en juin, un incident qualifié d'"inacceptable" par le Premier ministre Anthony Albanese.

Cet agent d'IA a accédé à des fichiers publics et non publics du service de statistiques de la santé, a indiqué M. Albanese à des journalistes à New York mercredi en marge de l'Assemblée générale des Nations unies.

Selon lui, OpenAI n'a alerté le gouvernement australien qu'en septembre, en envoyant un courriel décrivant l'incident à une adresse électronique générique destinée au grand public, où le courrier n'est relevé qu'une fois par jour.

"Aujourd'hui, je me suis entretenu avec le PDG d'OpenAI, Sam Altman, pour exprimer la vive inquiétude de l'Australie au sujet de cet incident", a déclaré M. Albanese. "Et j'ai aussi exprimé ma déception qu'il ait fallu beaucoup trop de temps à l'entreprise pour informer le gouvernement de ce qui s'était produit".

"Il a fallu attendre le 10 septembre pour qu'il y ait la moindre notification, et cette notification a pris la forme d'un courriel envoyé simplement à la boîte mail publique", a-t-il déploré.

OpenAI a reconnu que ses agents avaient ciblé plusieurs sites gouvernementaux australiens, et s'en être aperçu en août.

"Nous avons identifié des activités impliquant plusieurs sites web et services du gouvernement australien, dans lesquels nos modèles tentaient de chercher des réponses", a indiqué le groupe dans une réaction transmise à l'AFP mercredi à San Francisco.

"Au cours de ce processus, nos modèles ont pris des mesures que nous n'avions pas prévues", a ajouté la société.

Le modèle d'OpenAI cherchait des données sur les dépenses de santé du gouvernement australien, dans le cadre d'un exercice visant à évaluer les performances de l'outil.

"Il a posé une question, l'information n'a pas été fournie, et au lieu de laisser tomber, il a escaladé la clôture", a résumé le ministre australien de la Défense, Richard Marles.

"Inacceptable"

Ce nouvel incident survient alors que la préoccupation monte dans le monde au sujet de la puissance des outils d'IA avancée, après une série de piratages commis de leur propre initiative par des modèles d'OpenAI et de ses concurrents Anthropic et Google.

"Je pense qu'OpenAI sait qu'elle doit mettre en place de meilleurs protocoles", a affirmé M. Albanese. "Il s'agit d'un projet de recherche qui s'est aventuré dans des domaines où il n'aurait pas dû aller."

"Nous ne pensons pas que des informations personnelles aient été consultées à ce stade, mais les investigations se poursuivent" sous la houlette de l'Australian Signals Directorate, autorité compétente en matière de sécurité des systèmes d'information et de cyberguerre, a précisé le Premier ministre, qui a qualifié l'incident de "manifestement inacceptable".

Plusieurs grands patrons de l'intelligence artificielle ont souligné mercredi à l'ONU la supervision accrue que nécessite cette technologie, Dario Amodei d'Anthropic s'engageant même à ralentir unilatéralement son développement.

La progression actuelle de l'IA "nécessite une attention extrême", a également reconnu Sam Altman lors d'une présentation devant le Conseil de sécurité des Nations Unies à New York.

Depuis le début de l'été, OpenAI et Anthropic ont rapporté plusieurs incidents liés à leurs modèles les plus avancés, qui se sont écartés des objectifs fixés par leurs développeurs, ont triché, cherché à mentir et à dissimuler leurs actions.

Le plus sérieux dérapage a vu en juillet deux IA d'OpenAI sortir de leur milieu confiné lors de tests pour se rendre sur internet et faire intrusion sur Hugging Face, une plateforme de stockage de modèles d'intelligence artificielle.

Anthropic, pour sa part, a découvert que ses modèles avaient obtenu un accès non autorisé à trois organisations - dont le nom n'a pas été révélé - lors de tests censés les maintenir à l'écart des systèmes "du monde réel". Le modèle d'IA grand public Gemini de Google a lui piraté plusieurs systèmes en devinant des identifiants de connexion, a reconnu l'entreprise la semaine dernière.