Microsoft anunció varias capacidades nuevas en Azure AI Studio que, según la compañía, deberían ayudar a los desarrolladores a crear aplicaciones de IA generativa que sean más confiables y resistentes contra la manipulación maliciosa de modelos y otras amenazas emergentes.
En una publicación de blog del 29 de marzo, Sarah Bird, directora de productos de IA responsable de Microsoft, señaló las crecientes preocupaciones sobre los actores de amenazas que utilizan ataques rápidos de inyección lograr que los sistemas de inteligencia artificial se comporten de maneras peligrosas e inesperadas como factor principal de las nuevas herramientas.
“Las organizaciones también preocupados por la calidad y la confiabilidad”, pájaro dijo. "Quieren asegurarse de que sus sistemas de inteligencia artificial no generen errores ni agreguen información que no esté respaldada en las fuentes de datos de la aplicación, lo que puede erosionar la confianza del usuario".
Estudio de IA de Azure es una plataforma alojada que las organizaciones pueden utilizar para crear asistentes, copilotos, bots, herramientas de búsqueda y otras aplicaciones de IA personalizados, basados en sus propios datos. Anunciada en noviembre de 2023, la plataforma alberga los modelos de aprendizaje automático de Microsoft y también modelos de varias otras fuentes, incluida OpenAI. Meta, Hugging Face y Nvidia. Permite a los desarrolladores integrar rápidamente capacidades multimodales y funciones de IA responsables en sus modelos.
Otros actores importantes, como Amazon y Google, se apresuraron a lanzar al mercado ofertas similares durante el año pasado para aprovechar el creciente interés por las tecnologías de inteligencia artificial en todo el mundo. Un estudio reciente encargado por IBM encontró que el 42% de las organizaciones con más de 1,000 empleados ya están utilizando activamente la IA de alguna manera y muchos de ellos planean aumentar y acelerar las inversiones en la tecnología en los próximos años. Y no todos le estaban contando de antemano sobre su uso de IA.
Protección contra ingeniería rápida
Las cinco nuevas capacidades que Microsoft ha agregado (o agregará próximamente) a Azure AI Studio son: Prompt Shields; detección de conexión a tierra; mensajes del sistema de seguridad; evaluaciones de seguridad; y monitoreo de riesgos y seguridad. Las funciones están diseñadas para abordar algunos desafíos importantes que los investigadores han descubierto recientemente (y continúan descubriendo de forma rutinaria) con respecto al uso de grandes modelos de lenguaje y herramientas de inteligencia artificial generativa.
Escudos rápidos por ejemplo, la mitigación de Microsoft para los llamados ataques rápidos indirectos y jailbreaks. La característica se basa en las mitigaciones existentes en Azure AI Studio contra el riesgo de jailbreak. En rápidos ataques de ingeniería, los adversarios utilizan indicaciones que parecen inocuas y no abiertamente dañinas para intentar dirigir un modelo de IA para que genere respuestas dañinas e indeseables. La ingeniería rápida se encuentra entre los más peligrosos en una clase creciente de ataques que intentan y Modelos de IA con jailbreak o hacer que se comporten de una manera que sea inconsistente con los filtros y restricciones que los desarrolladores puedan haberles incorporado.
Los investigadores han demostrado recientemente cómo los adversarios pueden participar en ataques de ingeniería rápidos para lograr que los modelos generativos de IA funcionen. derramar sus datos de entrenamiento, para arrojar información personal, generar desinformación y contenido potencialmente dañino, como instrucciones sobre cómo conectar un automóvil.
Con Prompt Shields, los desarrolladores pueden integrar capacidades en sus modelos que ayudan a distinguir entre entradas de sistema válidas y potencialmente no confiables; establezca delimitadores para ayudar a marcar el principio y el final del texto de entrada y utilice el marcado de datos para marcar los textos de entrada. Prompt Shields está actualmente disponible en modo de vista previa en Azure AI Content Safety y pronto estará disponible de forma general, según Microsoft.
Mitigaciones para alucinaciones de modelos y contenido nocivo
Mientras tanto, con la detección de conexión a tierra, Microsoft ha agregado una característica a Azure AI Studio que, según dice, puede ayudar a los desarrolladores a reducir el riesgo de que sus modelos de IA "alucinen". La alucinación de modelos es una tendencia de los modelos de IA a generar resultados que parecen plausibles pero que están completamente inventados y no se basan (o fundamentan) en los datos de entrenamiento. Las alucinaciones de LLM pueden ser enormemente problemáticas si una organización tomara el resultado como un hecho y actuara en consecuencia de alguna manera. En un entorno de desarrollo de software, por ejemplo, las alucinaciones de LLM podrían hacer que los desarrolladores introduzcan código vulnerable en sus aplicaciones.
Lo nuevo de Azure AI Studio detección de conexión a tierra La capacidad consiste básicamente en ayudar a detectar, de forma más fiable y a mayor escala, resultados de IA generativa potencialmente desconectados. El objetivo es brindar a los desarrolladores una forma de probar sus modelos de IA con lo que Microsoft llama métricas de conexión a tierra, antes de implementar el modelo en el producto. La función también resalta declaraciones potencialmente infundadas en los resultados de LLM, para que los usuarios sepan que deben verificar los resultados antes de usarlos. La detección de conexión a tierra aún no está disponible, pero debería estarlo en un futuro próximo, según Microsoft.
El nuevo marco de mensajes del sistema ofrece una manera a los desarrolladores de definir claramente las capacidades de su modelo, su perfil y limitaciones en su entorno específico. Los desarrolladores pueden utilizar la capacidad de definir el formato de la salida y proporcionar ejemplos del comportamiento previsto, de modo que sea más fácil para los usuarios detectar desviaciones del comportamiento previsto. Es otra característica nueva que aún no está disponible pero debería estarlo pronto.
El recién anunciado Azure AI Studio evaluaciones de seguridad capacidad y su monitoreo de riesgos y seguridad La función está disponible actualmente en estado de vista previa. Las organizaciones pueden utilizar el primero para evaluar la vulnerabilidad de su modelo LLM a ataques de jailbreak y generación de contenido inesperado. La capacidad de monitoreo de riesgos y seguridad permite a los desarrolladores detectar entradas del modelo que son problemáticas y que probablemente desencadenen contenido alucinante o inesperado, para que puedan implementar mitigaciones contra ello.
"La IA generativa puede ser un multiplicador de fuerzas para cada departamento, empresa e industria", dijo Bird de Microsoft. "Al mismo tiempo, los modelos básicos introducen nuevos desafíos para la seguridad que requieren mitigaciones novedosas y aprendizaje continuo".
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai
