Si pensaba que el problema de seguridad de la cadena de suministro de software ya era bastante difícil hoy en día, abróchese el cinturón. El crecimiento explosivo del uso de la inteligencia artificial (IA) está a punto de hacer que esos problemas de la cadena de suministro sean exponencialmente más difíciles de abordar en los próximos años. 

Los desarrolladores, los profesionales de seguridad de aplicaciones y los profesionales de DevSecOps están llamados a corregir las fallas de mayor riesgo que se esconden en lo que parecen ser combinaciones interminables de componentes propietarios y de código abierto que están entretejidos en sus aplicaciones e infraestructura de nube. Pero es una batalla constante intentar siquiera entender qué componentes tienen, cuáles son vulnerables y qué fallos los ponen en mayor riesgo. Claramente, ya están luchando por gestionar sensatamente estas dependencias en su software tal como está.

Lo que se va a volver más difícil es el efecto multiplicador que la IA puede añadir a la situación.

Modelos de IA como código autoejecutable

Las herramientas habilitadas para IA y aprendizaje automático (ML) son software igual que cualquier otro tipo de aplicación, y es probable que su código sufra inseguridades en la cadena de suministro. Sin embargo, añaden otra variable de activos a la combinación que aumenta en gran medida la superficie de ataque de la cadena de suministro de software de IA: los modelos AI/ML.

"Lo que separa a las aplicaciones de IA de cualquier otra forma de software es que [se basan] de alguna manera en algo llamado modelo de aprendizaje automático", explica Daryan Dehghanpisheh, cofundador de Protect AI. “Como resultado, ese modelo de aprendizaje automático en sí mismo es ahora un activo en su infraestructura. Cuando tiene un activo en su infraestructura, necesita la capacidad de escanear su entorno, identificar dónde están, qué contienen, quién tiene permisos y qué hacen. Y si no puedes hacer eso con los modelos actuales, no puedes gestionarlos”.

Los modelos de IA/ML proporcionan la base para la capacidad de un sistema de IA para reconocer patrones, hacer predicciones, tomar decisiones, desencadenar acciones o crear contenido. Pero la verdad es que la mayoría de las organizaciones ni siquiera saben cómo empezar a ganar visibilidad de todos los modelos de IA integrados en su software. Los modelos y la infraestructura que los rodea se construyen de manera diferente a otros componentes de software, y las herramientas de software y seguridad tradicionales no están diseñadas para buscar o comprender cómo funcionan los modelos de IA o sus fallas. Esto es lo que los hace únicos, dice Dehghanpisheh, quien explica que son esencialmente piezas ocultas de código autoejecutable.

“Un modelo, por diseño, es un fragmento de código autoejecutable. Tiene cierta capacidad de acción”, dice Dehghanpisheh. “Si le dijera que tiene activos en toda su infraestructura que no puede ver, no puede identificar, no sabe lo que contienen, no sabe cuál es el código y se ejecutan solos. y recibir llamadas externas, eso suena sospechosamente a un virus de permiso, ¿no?

Un observador temprano de las inseguridades de la IA

Adelantarse a este problema fue el gran impulso que impulsó a él y a sus cofundadores a lanzar Protect AI en 2022, que forma parte de una serie de nuevas empresas que surgen para abordar los problemas de seguridad de los modelos y linaje de datos que se avecinan en la era de la IA. Dehghanpisheh y el cofundador Ian Swanson vislumbraron el futuro cuando trabajaron juntos anteriormente en la creación de soluciones de IA/ML en AWS. Dehghanpisheh había sido el líder mundial en arquitectos de soluciones de IA/ML.

"Durante el tiempo que pasamos juntos en AWS, vimos a los clientes crear sistemas de IA/ML a un ritmo increíblemente rápido, mucho antes de que la IA generativa capturara los corazones y las mentes de todos, desde la alta dirección hasta el Congreso", dice, explicando que Trabajó con una variedad de ingenieros y expertos en desarrollo empresarial, así como también con clientes. "Fue entonces cuando nos dimos cuenta de cómo y dónde están las vulnerabilidades de seguridad exclusivas de los sistemas AI/ML".

Observaron tres cosas básicas sobre AI/ML que tenían implicaciones increíbles para el futuro de la ciberseguridad, dice. La primera fue que el ritmo de adopción fue tan rápido que vieron de primera mano con qué rapidez estaban surgiendo entidades de TI en la sombra en torno al desarrollo de la IA y el uso empresarial que escapaban al tipo de gobernanza que supervisaría cualquier otro tipo de desarrollo en la empresa.

La segunda fue que la mayoría de las herramientas que se estaban utilizando, ya fueran comerciales o de código abierto, fueron creadas por científicos de datos e ingenieros de aprendizaje automático prometedores que nunca habían recibido capacitación en conceptos de seguridad.

"Como resultado, teníamos herramientas realmente útiles, muy populares, muy distribuidas y ampliamente adoptadas que no fueron creadas con una mentalidad que priorizaba la seguridad", afirma.

Los sistemas de inteligencia artificial no están diseñados pensando "en la seguridad"

Como resultado, muchos sistemas AI/ML y herramientas compartidas carecen de los conceptos básicos de autenticación y autorización y, a menudo, otorgan demasiado acceso de lectura y escritura en los sistemas de archivos, explica. Sumado a configuraciones de red inseguras y luego esos problemas inherentes a los modelos, las organizaciones comienzan a estancarse en problemas de seguridad en cascada en estos sistemas altamente complejos y difíciles de entender.

"Eso nos hizo darnos cuenta de que las herramientas, los procesos y los marcos de seguridad existentes, sin importar el cambio que se hiciera, carecían del contexto que necesitarían los ingenieros de aprendizaje automático, los científicos de datos y los creadores de inteligencia artificial", dice.

Finalmente, la tercera observación importante que él y Swanson hicieron durante esos días de AWS fue que las violaciones de la IA no se producirían. Ya habían llegado.

"Vimos que los clientes tenían violaciones en una variedad de sistemas de IA/ML que deberían haber sido detectadas pero no lo fueron", dice. “Lo que eso nos dijo es que el conjunto y los procesos, así como los elementos de gestión de respuesta a incidentes, no fueron diseñados específicamente para la forma en que se estaba diseñando AI/ML. Ese problema ha empeorado mucho a medida que la IA generativa cobró impulso”.

Los modelos de IA se comparten ampliamente

Dehghanpisheh y Swanson también comenzaron a ver cómo los modelos y los datos de entrenamiento estaban creando una nueva cadena de suministro de IA única que debía considerarse tan seriamente como el resto de la cadena de suministro de software. Al igual que con el resto del desarrollo de software moderno y la innovación nativa de la nube, los científicos de datos y los expertos en IA han impulsado los avances en los sistemas de IA/ML mediante el uso desenfrenado de código abierto y componentes compartidos, incluidos los modelos de IA y los datos utilizados para entrenarlos. Muchos sistemas de IA, ya sean académicos o comerciales, se construyen utilizando el modelo de otra persona. Y al igual que con el resto del desarrollo moderno, la explosión en el desarrollo de la IA sigue impulsando una enorme afluencia diaria de nuevos activos modelo que proliferan en toda la cadena de suministro, lo que significa que seguirlos es cada vez más difícil.

Tomemos como ejemplo Hugging Face. Este es uno de los repositorios de modelos de IA de código abierto en línea más utilizados en la actualidad; sus fundadores dicen que quieren ser el GitHub de la IA. En noviembre de 2022, los usuarios de Hugging Face habían compartido 93,501 modelos diferentes con la comunidad. En noviembre siguiente, eso había aumentado a 414,695 modelos. Ahora, sólo tres meses después, ese número se ha ampliado a 527,244. Se trata de una cuestión cuyo alcance aumenta día a día. Y pondrá el problema de seguridad de la cadena de suministro de software "en esteroides", dice Dehghanpisheh.

A análisis reciente Su firma descubrió que miles de modelos que se comparten abiertamente en Hugging Face pueden ejecutar código arbitrario en la carga o inferencia del modelo. Si bien Hugging Face realiza un escaneo básico de su repositorio en busca de problemas de seguridad, muchos modelos se pasan por alto en el camino: al menos la mitad de los modelos de alto riesgo descubiertos en la investigación no fueron considerados inseguros por la plataforma, y ​​Hugging Face lo deja claro en la documentación. que determinar la seguridad de un modelo es, en última instancia, responsabilidad de sus usuarios. 

Pasos para abordar la cadena de suministro de IA

Dehghanpisheh cree que el eje de la ciberseguridad en la era de la IA comenzará primero con la creación de una comprensión estructurada del linaje de la IA. Eso incluye el linaje del modelo y el linaje de datos, que son esencialmente el origen y la historia de estos activos, cómo se han modificado y los metadatos asociados con ellos.

“Ese es el primer punto de partida. No puedes arreglar lo que no puedes ver, lo que no puedes saber y lo que no puedes definir, ¿verdad? él dice.

Mientras tanto, en el nivel operativo diario, Dehghanpisheh cree que las organizaciones necesitan desarrollar capacidades para escanear sus modelos, buscando fallas que puedan afectar no solo el fortalecimiento del sistema sino también la integridad de su producción. Esto incluye cuestiones como el sesgo de la IA y el mal funcionamiento que podrían causar daños físicos en el mundo real si, por ejemplo, un coche autónomo choca contra un peatón.

"Lo primero es escanear", dice. “Lo segundo es que es necesario comprender esos escaneos. Y la tercera es que, una vez que tienes algo marcado, básicamente necesitas detener la activación de ese modelo. Es necesario restringir su agencia”.

El impulso para MLSecOps

MLSecOps es un movimiento neutral respecto a los proveedores que refleja el movimiento DevSecOps en el mundo del software tradicional.

“De manera similar al paso de DevOps a DevSecOps, hay que hacer dos cosas a la vez. Lo primero que hay que hacer es concienciar a los profesionales de que la seguridad es un desafío y una responsabilidad compartida”, dice Dehghanpisheh. “Lo segundo que hay que hacer es dar contexto y poner seguridad en herramientas que mantengan a los científicos de datos, ingenieros de aprendizaje automático [y] creadores de IA a la vanguardia e innovando constantemente, pero permitiendo que las preocupaciones de seguridad desaparezcan en un segundo plano. .”

Además, dice que las organizaciones tendrán que comenzar a agregar políticas de gobernanza, riesgo y cumplimiento, así como capacidades de cumplimiento y procedimientos de respuesta a incidentes que ayuden a gobernar las acciones y procesos que tienen lugar cuando se descubren inseguridades. Al igual que con un ecosistema DevSecOps sólido, esto significa que MLSecOps necesitará una fuerte participación de las partes interesadas del negocio en todos los niveles ejecutivos.

La buena noticia es que la seguridad de IA/ML se está beneficiando de algo que ninguna otra innovación tecnológica rápida ha tenido desde el principio: es decir, mandatos regulatorios desde el principio. 

"Piense en cualquier otra transición tecnológica", dice Dehghanpisheh. “Mencione una vez en la que un regulador federal o incluso reguladores estatales hayan dicho esto desde el principio: 'Vaya, espera, espera, tienes que contarme todo lo que contiene. Tienes que priorizar el conocimiento de ese sistema. Tienes que priorizar una lista de materiales. No hay ninguno”.

Esto significa que es más probable que muchos líderes de seguridad obtengan aceptación para desarrollar capacidades de seguridad de IA mucho antes en el ciclo de vida de la innovación. Uno de los signos más obvios de este apoyo es el rápido cambio para patrocinar nuevas funciones laborales en las organizaciones.

“La mayor diferencia que ha puesto sobre la mesa la mentalidad regulatoria es que en enero de 2023, el concepto de director de seguridad de IA era novedoso y no existía. Pero en junio empezaste a ver esos roles”, dice Dehghanpisheh. "Ahora están en todas partes y cuentan con financiación".

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight