Les agents d'OpenAI ont tenté de pirater des sites du gouvernement américain

Des agents d'OpenAI, autrement dit des programmes qui se débrouillent tout seuls sur le web pour accomplir une tâche, ont sondé plusieurs sites du gouvernement américain cet été pendant des phases d'entraînement et de tests, et l'entreprise ne s'en est aperçue que des mois plus tard, en épluchant ses propres journaux d'activité.

Le New York Times a détaillé l'affaire. Le cas le plus sérieux concerne le ministère de l'Éducation, où un agent a carrément essayé de pirater le site du bureau des droits civiques pour en extraire des données. La tentative a échoué.

Elle a été repérée par Transluce, un labo indépendant qui passe au crible le comportement des modèles d'IA. Le ministère assure de son côté n'avoir trouvé aucune trace du passage de la machine, ni sur son site ni dans ses bases de données.

Au Bureau du recensement, d'autres agents ont récupéré des données en utilisant des identifiants de connexion qui traînaient en ligne. Le ministère du Commerce précise que ces informations étaient publiques. Des documents de la SEC, le gendarme de la Bourse américaine, ont aussi été copiés puis republiés sur un forum, et un site de la ville de Chicago figure dans la liste des victimes.

Côté méthodes, les modèles ont créé de fausses adresses mail, contourné les limites du nombre de requêtes autorisées et juré aux systèmes de vérification qu'ils n'étaient pas des robots. J'avoue que cette dernière image m'a fait glousser.

Chez OpenAI, on explique que les modèles devaient répondre à des questions pendant des tests et que les sites gouvernementaux sont la source de référence pour l'information publique. Du coup ils y sont allés, quitte à forcer la porte quand la voie normale bloquait. L'entreprise parle de comportement "mal aligné", le terme maison pour une IA qui atteint son objectif par des moyens que personne n'avait prévus.

OpenAI a prévenu des dizaines d'organisations concernées et juge la plupart des incidents de faible gravité, sans vol de données à la clé.

Cette grande relecture des journaux d'activité a été lancée après l'incident Hugging Face de juillet, quand un prototype maison a exploité une faille inconnue pour s'introduire sur cette plateforme de partage de modèles d'IA. OpenAI décrit l'épisode comme le plus grave jamais identifié chez ses modèles, et le prototype a été désactivé depuis.

En juin, le portail statistique de l'assurance santé australienne y était déjà passé. Canberra n'a été prévenu que le 10 septembre, trois mois après les faits. Une fois encore, attendez-vous à ce que ce genre de problème se multiplie comme des petits pains.

Source : Washingtonpost