Los investigadores han descubierto más de 100 modelos maliciosos de aprendizaje automático (ML) en la plataforma Hugging Face AI que pueden permitir a los atacantes inyectar código malicioso en las máquinas de los usuarios.
Aunque Hugging Face implementa medidas de seguridad, los hallazgos resaltan el creciente riesgo de "convertir en armas" los modelos disponibles públicamente, ya que pueden crear una puerta trasera para los atacantes.
Los hallazgos de JFrog Security Research forman parte de un estudio en curso para analizar cómo los piratas informáticos pueden utilizar el aprendizaje automático para atacar a los usuarios.
Contenido nocivo
De acuerdo con un artículo de Informática. , los investigadores desarrollaron un sistema de escaneo avanzado para examinar los modelos alojados en la plataforma Hugging Face AI, como PyTorch y Tensorflow Keras.
Hugging Face es una plataforma desarrollada para compartir modelos, conjuntos de datos y aplicaciones de IA. Al analizar los modelos, los investigadores descubrieron cargas útiles dañinas "dentro de modelos aparentemente inofensivos".
Esto a pesar de que Hugging Face lleva a cabo medidas de seguridad como malware y escaneo de pepinillos. Sin embargo, la plataforma no restringe la descarga de modelos que podrían ser potencialmente dañinos y también permite que estén disponibles públicamente. Modelos AI para que los usuarios abusen de ellos y los utilicen como armas.
Al examinar la plataforma y los modelos existentes, los investigadores de seguridad de JFrog descubrieron alrededor de 100 modelos de IA con funcionalidad maliciosa, según sus reporte.
Algunos de estos modelos, indica el informe, son capaces de ejecutar código en las máquinas de los usuarios, "creando así una puerta trasera persistente para los atacantes".
Los investigadores también indicaron que tales hallazgos excluyen los falsos positivos. Estos, dijeron, son una representación precisa de la prevalencia de modelos maliciosos en la plataforma.
Lea también: Apple redirige al equipo de automóviles a la IA después de la desaceleración del mercado de vehículos eléctricos
Los ejemplos
Según el informe de JFrog, uno de los casos “alarmantes” involucra a un PyTorch modelo. Según los informes, el modelo fue subido por un usuario identificado como “baller423”, que posteriormente fue eliminado de la plataforma Hugging Face.
Al examinar más a fondo el modelo, los investigadores notaron que contenía una carga útil maliciosa que le permitía establecer un shell inverso en un host específico (210.117.212.93).
El investigador senior de seguridad de JFrog, David Cohen, dijo: "(Es) notablemente más intrusivo y potencialmente malicioso, ya que establece una conexión directa a un servidor externo, lo que indica una posible amenaza a la seguridad en lugar de una mera demostración de vulnerabilidad”, escribió.
Esto aprovecha el "método '_reduce_' del módulo pickle de Python para ejecutar código arbitrario al cargar el archivo del modelo, evitando efectivamente los métodos de detección convencionales".
Los investigadores también reconocieron que la misma carga útil estaba creando conexiones a diferentes direcciones IP, "lo que sugiere que los operadores pueden ser investigadores en lugar de piratas informáticos maliciosos".
Una llamada de atención
El equipo de JFrog señaló que los hallazgos son una llamada de atención para Hugging Face, ya que muestran que su plataforma es propensa a la manipulación y a amenazas potenciales.
"Estos incidentes sirven como recordatorios conmovedores de las amenazas actuales que enfrentan los repositorios de Hugging Face y otros repositorios populares como Kaggle, que podrían potencialmente comprometer la privacidad y seguridad de las organizaciones que utilizan estos recursos, además de plantear desafíos para los ingenieros de AI/ML", dijo los investigadores.
Esto viene como amenazas a la ciberseguridad En todo el mundo están aumentando, impulsados por la proliferación de herramientas de inteligencia artificial, y los malos actores abusan de ellas con intenciones maliciosas. Los piratas informáticos también utilizan la IA para avanzar en ataques de phishing y engañar a las personas.
Sin embargo, el equipo de JFrog hizo otros descubrimientos.
Un patio de recreo para los investigadores
Los investigadores también observaron que Abrazando la cara se ha convertido en un campo de juego para los investigadores "que desean combatir las amenazas emergentes, como lo demuestra la diversa gama de tácticas para eludir sus medidas de seguridad".
Por ejemplo, la carga útil cargada por "baller423" inició una conexión de shell inversa a un rango de direcciones IP que pertenece a Kreonet (Red abierta del entorno de investigación de Corea).
Según la Lectura oscura, Kreonet es una red de alta velocidad en Corea del Sur que respalda actividades educativas y de investigación avanzada; "Por lo tanto, es posible que investigadores o profesionales de la IA hayan estado detrás del modelo".
"Podemos ver que la mayoría de las cargas útiles 'maliciosas' son en realidad intentos de investigadores y/o recompensas por errores para obtener la ejecución de código para propósitos aparentemente legítimos", dijo Cohen.
A pesar de los propósitos legítimos, el equipo de JFrog advirtió que las estrategias empleadas por los investigadores demuestran claramente que plataformas como Hugging Face están abiertas a ataques a la cadena de suministro. Estos, según el equipo, se pueden personalizar para centrarse en datos demográficos específicos, como ingenieros de inteligencia artificial o aprendizaje automático.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://metanews.com/over-100-malicious-code-execution-models-on-hugging-face-backdoors-users-devices/
