Après les multiples dérapages d'IA en test, Nvidia propose sa solution pour mieux les confiner

Le géant des puces Nvidia a présenté lundi un dispositif pour enfermer les agents d'intelligence artificielle (IA), après une série d'incidents au cours desquels des IA d'OpenAI, d'Anthropic et de Meta sont sorties de leur milieu confiné pour pirater d'autres organisations.

Son patron, Jensen Huang, juge que la sécurité de l'IA est avant tout un problème technique que de meilleurs outils peuvent résoudre, et non une raison de ralentir le développement de cette technologie, comme l'ont réclamé en septembre de grands patrons du secteur tels que Dario Amodei (Anthropic), Sam Altman (OpenAI) et Elon Musk.

"Je sais que c'est un problème d'ingénierie", a-t-il assuré lundi sur CNBC, et "si ce n'est pas un problème d'ingénierie, ce n'est pas soluble !" Si les créateurs d'IA ne peuvent pas contenir leurs modèles pendant les tests, "alors il faut, je pense, fermer les laboratoires", avait-il estimé la semaine dernière dans un podcast du New York Times.

Partenaire financier d'OpenAI comme d'Anthropic, Nvidia fournit en puces les laboratoires à l'origine de ces incidents et va racheter pour 12,9 milliards de dollars la plateforme franco-américaine Hugging Face, dont le piratage en juillet a ouvert la série. Le groupe propose désormais la parade.

Ce piratage était le fait d'agents IA -- des logiciels bâtis sur un modèle d'IA et capables d'enchaîner seuls une série de tâches -- testés par OpenAI.

Vendredi encore, OpenAI a révélé qu'un de ses modèles avait accédé le 20 septembre à internet sans autorisation pendant son entraînement, et qu'il avait suspendu l'entraînement et les tests de ses modèles encore en développement.

Selon Nvidia, son dispositif aurait pu empêcher le piratage de Hugging Face s'il avait déjà été en place.

Il comporte deux étages: un logiciel gratuit, OpenShell, enferme chaque agent et ne lui ouvre que les fichiers, outils et sites nécessaires à sa tâche; un second module, Sentry, installé sur une puce Nvidia distincte, le surveille de l'extérieur et peut l'isoler en quelques millisecondes s'il franchit ces limites.

Quand on déploie un agent, "la première chose que l'on fait, c'est de lui retirer tous ses droits" d'accès aux fichiers, aux outils et à internet, a expliqué Jensen Huang.

Mais autoriser certains sites "restreint l'endroit où un agent peut aller, pas ce qu'il fait", a rappelé Clément Delangue, patron de Hugging Face, dans un message sur X: dans l'attaque contre sa plateforme, les agents d'OpenAI avaient le droit d'accéder à un site de partage de logiciels mais en avaient détourné l'usage pour créer un espace de communication entre eux.