Los agentes de IA, que combinan grandes modelos de lenguaje con software de automatización, pueden explotar con éxito las vulnerabilidades de seguridad del mundo real leyendo avisos de seguridad, afirman los académicos.
En un recién estrenado , cuatro científicos informáticos de la Universidad de Illinois Urbana-Champaign (UIUC), Richard Fang, Rohan Bindu, Akul Gupta y Daniel Kang, informan que el modelo de lenguaje grande (LLM) GPT-4 de OpenAI puede explotar de forma autónoma vulnerabilidades en sistemas del mundo real si se les proporciona. un aviso CVE que describe la falla.
"Para mostrar esto, recopilamos un conjunto de datos de 15 vulnerabilidades de un día que incluyen aquellas clasificadas como de gravedad crítica en la descripción CVE", explican los autores con sede en EE. UU. en su artículo.
“Cuando se le da la descripción CVE, GPT-4 es capaz de explotar el 87 por ciento de estas vulnerabilidades en comparación con el 0 por ciento de todos los demás modelos que probamos (GPT-3.5, LLM de código abierto) y escáneres de vulnerabilidades de código abierto (ZAP y Metasploit). .”
Si se extrapola a lo que los modelos futuros pueden hacer, parece probable que sean mucho más capaces de lo que los niños del guión pueden tener acceso hoy.
El término "vulnerabilidad de un día" se refiere a vulnerabilidades que han sido divulgadas pero no parcheadas. Y por descripción CVE, el equipo se refiere a un aviso etiquetado con CVE compartido por NIST, por ejemplo, esta para CVE-2024-28859.
Los modelos probados que no tuvieron éxito: GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B y OpenChat 3.5 no incluían dos principales rivales comerciales de GPT-4, Claude 3 de Anthropic y Gemini 1.5 Pro de Google. Los expertos de la UIUC no tuvieron acceso a esos modelos, aunque esperan probarlos en algún momento.
El trabajo de los investigadores se basa en hallazgos previos que los LLM se pueden utilizar para automatizar ataques a sitios web en un entorno de espacio aislado.
GPT-4, dijo Daniel Kang, profesor asistente de UIUC, en un correo electrónico a El registro, "en realidad puede llevar a cabo de forma autónoma los pasos para realizar ciertos exploits que los escáneres de vulnerabilidades de código abierto no pueden encontrar (en el momento de escribir este artículo)".
Kang dijo que espera agentes LLM, creados (en este caso) conectando un modelo de chatbot al Reaccionar El marco de automatización implementado en LangChain hará que la explotación sea mucho más fácil para todos. Se nos dice que estos agentes pueden seguir enlaces en las descripciones de CVE para obtener más información.
"Además, si se extrapola a lo que pueden hacer GPT-5 y los modelos futuros, parece probable que sean mucho más capaces de lo que los niños con guiones pueden tener acceso hoy", dijo.
Negarle al agente LLM (GPT-4) el acceso a la descripción CVE relevante redujo su tasa de éxito del 87 por ciento a solo el siete por ciento. Sin embargo, Kang dijo que no cree que limitar la disponibilidad pública de información de seguridad sea una forma viable de defenderse contra los agentes de LLM.
"Personalmente no creo que la seguridad a través de la oscuridad sea sostenible, lo que parece ser la opinión predominante entre los investigadores de seguridad", explicó. "Espero que mi trabajo, y otros trabajos, fomenten medidas de seguridad proactivas, como actualizar los paquetes periódicamente cuando salgan parches de seguridad".
El agente LLM no logró explotar sólo dos de las 15 muestras: Iris XSS (CVE-2024-25640) y Hertzbeat RCE (CVE-2023-51653). Lo primero, según el artículo, resultó problemático porque la aplicación web Iris tiene una interfaz que es extremadamente difícil de navegar para el agente. Y este último presenta una descripción detallada en chino, lo que presumiblemente confundió al agente de LLM que operaba bajo un mensaje en inglés.
Once de las vulnerabilidades probadas ocurrieron después del corte de entrenamiento de GPT-4, lo que significa que el modelo no había aprendido ningún dato sobre ellas durante el entrenamiento. Su tasa de éxito para estos CVE fue ligeramente inferior: 82 por ciento, o 9 de 11.
En cuanto a la naturaleza de los errores, todos se enumeran en el documento anterior y se nos dice: “Nuestras vulnerabilidades abarcan vulnerabilidades de sitios web, vulnerabilidades de contenedores y paquetes de Python vulnerables. Más de la mitad se clasifican como de gravedad "alta" o "crítica" según la descripción CVE".
Kang y sus colegas calcularon el coste de llevar a cabo con éxito un ataque de agente LLM y obtuvieron una cifra de 8.80 dólares por exploit, que, según dicen, es aproximadamente 2.8 veces menos de lo que costaría contratar a un probador de penetración humano durante 30 minutos.
El código del agente, según Kang, consta de sólo 91 líneas de código y 1,056 tokens para el aviso. OpenAI, el fabricante de GPT-4, pidió a los investigadores que no hicieran públicas sus indicaciones, aunque dicen que las proporcionarán si las solicitan.
OpenAI no respondió de inmediato a una solicitud de comentarios. ®
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/
