JFrog a détecté des modèles de Machine Learning malveillants dans la bibliothèque d’Hugging Face. Une fois sur la machine d’un utilisateur, ces modèles exécutent du code malveillant et permettent à des pirates de prendre le contrôle via une backdoor.
La startup d’intelligence artificielle Hugging Face développe des outils d’IA et est notamment connue pour sa bibliothèque de partage de modèles open source. D'après un récent article de blog de JFrog, quelques modèles malveillants s'y cacheraient.
Une backdoor qui permet un contrôle total
L’équipe de recherche de l’entreprise a révélé avoir découvert des modèles qui, une fois chargés, exécutent du code arbitraire, libérant ainsi leur charge utile qui accorde un shell, ou interface de ligne de commande, permettant aux attaquants de prendre le contrôle total des machines compromises. « Cette infiltration silencieuse pourrait potentiellement donner accès à des systèmes internes critiques et ouvrir la voie à des violations de données à grande échelle, voire à l'espionnage d'entreprise », prévient JFrog.
Des mesures de sécurité pas sans faille
Pour se prémunir contre de telles attaques, Hugging Face a mis en œuvre des fonctionnalités d’analyse de fichier à la recherche de code malveillant, de désérialisation dangereuse ou d'informations sensibles, et alerte les utilisateurs et les modérateurs. « Même si Hugging Face inclut de bonnes mesures de sécurité, un modèle récemment publié nous rappelle brutalement que la plateforme n’est pas à l’abri de menaces réelles », prévient toutefois JFrog.
Bien qu'Huggin Face détecte des fichiers contenant du code malveillant et les identifie comme dangereux, les utilisateurs peuvent toujours les télécharger, à leurs risques et périls.