
Google afirma que uno de sus modelos de IA es el primero de su tipo en detectar una vulnerabilidad de seguridad de memoria en acción (específicamente, un desbordamiento de búfer de pila explotable en SQLite), que luego se solucionó antes del lanzamiento oficial del código con errores.
La herramienta de detección de errores basada en LLM de Chocolate Factory, llamada Big Sleep, es una colaboración entre Project Zero de Google y DeepMind. Se dice que este software es una evolución del anterior Project Naptime, anunciado en junio.
SQLite es un motor de base de datos de código abierto y el desbordamiento del búfer de pila vulnerabilidad Podría haber permitido que un atacante provoque un bloqueo o incluso que logre la ejecución de código arbitrario. Más específicamente, el bloqueo o la ejecución del código ocurrirían en el ejecutable SQLite (no en la biblioteca) debido a que se usó accidentalmente un valor mágico de -1 en un punto como índice de matriz. Hay una aserción() en el código para detectar el uso de -1 como índice, pero en las compilaciones de lanzamiento, esta verificación de nivel de depuración se eliminaría.
Por lo tanto, un malhechor podría provocar un bloqueo o lograr la ejecución de código en la máquina de una víctima, tal vez, activando ese error de índice erróneo con una base de datos maliciosamente creada compartida con ese usuario o mediante alguna inyección SQL. Incluso los empleados de Google admiten que la falla no es fácil de explotar, así que tenga en cuenta que la gravedad del agujero no es realmente la novedad aquí: es que el gigante de la web cree que su IA ha logrado un primer puesto.
Nos dicen que el fuzzing (introducir datos aleatorios y/o cuidadosamente elaborados en el software para descubrir errores explotables) no encontró el problema.
Sin embargo, el LLM lo hizo. Según Google, esta es la primera vez que un agente de IA ha encontrado una falla de seguridad de memoria explotable previamente desconocida en un software del mundo real ampliamente utilizado. Después de que Big Sleep detectara el error a principios de octubre, después de haber recibido instrucciones de revisar una serie de confirmaciones del código fuente del proyecto, los desarrolladores de SQLite lo arregló el mismo día. Por lo tanto, la falla se eliminó antes del lanzamiento oficial.
“Creemos que este trabajo tiene un enorme potencial defensivo”, dijo el equipo de Big Sleep. cantado en un artículo del 1 de noviembre. “El fuzzing ha ayudado significativamente, pero necesitamos un enfoque que pueda ayudar a los defensores a encontrar los errores que son difíciles (o imposibles) de encontrar mediante fuzzing, y tenemos la esperanza de que la IA pueda reducir esta brecha”.
Cabe señalar que en octubre, Protect AI, con sede en Seattle anunció una herramienta gratuita y de código abierto que, según afirma, puede encontrar vulnerabilidades de día cero en bases de código Python con la ayuda del modelo de inteligencia artificial Claude de Anthropic.
Esta herramienta se llama Vulnhuntr y, según sus desarrolladores, ha encontrado más de una docena de errores de día cero en grandes proyectos Python de código abierto.
Según Google, las dos herramientas tienen propósitos diferentes. “Nuestra afirmación en la publicación del blog es que Big Sleep descubrió el primer exploit desconocido Problema de seguridad de la memoria en software del mundo real ampliamente utilizado”, dijo un portavoz de Google. El registro, con énfasis añadido. “El LLM de Python encuentra distintos tipos de errores que no están relacionados con la seguridad de la memoria”.
Big Sleep, que todavía se encuentra en la etapa de investigación, ha utilizado hasta ahora pequeños programas con vulnerabilidades conocidas para evaluar su capacidad de detección de errores. Este ha sido su primer experimento en el mundo real.
Para la prueba, el equipo recopiló varias confirmaciones recientes en el repositorio SQLite. Después de eliminar manualmente los cambios triviales y solo de documentos, "ajustamos el mensaje para proporcionar al agente tanto el mensaje de confirmación como una diferencia para el cambio, y le pedimos al agente que revisara el repositorio actual (en Director de escuela) por problemas relacionados que podrían no haberse solucionado”, escribió el equipo.
El LLM, basado en Gemini 1.5 Pro, finalmente encontró el error, que estaba relacionado vagamente con los cambios en la confirmación inicial. [1976c3f7]“Esto no es poco común en el análisis manual de variantes: comprender un error en una base de código a menudo lleva al investigador a otros problemas”, explicaron los empleados de Google.
En el artículo, el equipo de Big Sleep también detalló los “puntos destacados” de los pasos que siguió el agente para evaluar el código, encontrar la vulnerabilidad, bloquear el sistema y luego producir un análisis de causa raíz.
“Sin embargo, queremos reiterar que estos son resultados altamente experimentales”, escribieron. “La posición del equipo de Big Sleep es que, en la actualidad, es probable que un fuzzer específico para un objetivo sea al menos igual de efectivo (para encontrar vulnerabilidades)”. ®
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://go.theregister.com/feed/www.theregister.com/2024/11/05/google_ai_vulnerability_hunting/