Microsoft ha presentado un conjunto de capacidades en Azure AI Studio para abordar una gran cantidad de problemas que incluyen alucinaciones de IA, envenenamiento e inyección rápida.

Las nuevas herramientas están destinadas a hacer que la IA generativa sea más segura y confiable para los usuarios, después de haber sido plagados de falsedades por parte de chatbots, inventando cosas, en lo que ahora se conoce ampliamente como alucinaciones de IA.

Volviendo a las mesas de dibujo

La aparición de modelos de IA que ofrecen respuestas incorrectas o dañinas ha hecho que los desarrolladores vuelvan a la mesa de dibujo, pero se necesita más financiación. La industria tecnológica, según El registro está tratando de domesticar los modelos salvajes, en lugar de idear herramientas de IA mucho más seguras y éticas.

Microsoft, ha tenido que reconocer que la tecnología de inteligencia artificial conlleva riesgos y no se puede dejar de enfatizar el hecho de abordar algunos de ellos. Sarah Bird, directora de productos de IA responsable de Microsoft, dijo que las nuevas funciones de seguridad serán fáciles de usar para los clientes de Azure "que están contratando grupos de equipos rojos para probar los servicios de IA creados".

Las herramientas, dijo, pueden detectar amenazas potenciales y monitorear alucinaciones. También pueden bloquear cualquier mensaje malicioso en tiempo real de los clientes de Azure AI.

"Sabemos que no todos los clientes tienen una gran experiencia en ataques de inyección rápida o contenido de odio, por lo que el sistema de evaluación genera las indicaciones necesarias para simular este tipo de ataques", dijo. les dijo a El borde en una entrevista.

"Los clientes pueden entonces obtener una puntuación y ver los resultados".

Las herramientas

Según la firma tecnológica, tres características – Los escudos rápidos, las evaluaciones de seguridad y el monitoreo de riesgos y seguridad ahora están disponibles en versión preliminar en los servicios Azure AI y OpenAI. Escudos rápidos, según la empresa, bloquea mensajes maliciosos de documentos externos, que instruyen a los modelos a ignorar su formación.

El monitoreo de riesgos y seguridad ayuda a "comprender qué entradas, salidas y usuarios finales del modelo activan filtros de contenido para informar las mitigaciones".

La evaluación de seguridad evalúa la vulnerabilidad del modelo a ataques de jailbreak y genera riesgo de contenido.

Microsoft no se detiene sólo en estos. La compañía reveló que pronto se lanzarán dos funciones más. Estos están destinados a dirigir los modelos hacia una salida segura, así como a realizar un seguimiento de las indicaciones "para señalar a los usuarios potencialmente problemáticos".

"Con estas incorporaciones, Azure AI continúa brindando a nuestros clientes tecnologías innovadoras para proteger sus aplicaciones durante todo el ciclo de vida de la IA generativa", dijo Bird en una publicación de blog.

Según pájaro, detección de conexión a tierra es una característica que fue diseñada para identificar alucinaciones basadas en texto. Ofrece a los clientes opciones cuando se ve un reclamo falso, incluido "enviar el mensaje para que lo revisen antes de que pueda mostrarse".

Mensajes del sistema de seguridad a los modelos de los usuarios dirigiéndolos hacia resultados seguros y responsables, según la empresa.

Lea también: Los tokens AI AGIX, FET y OCEAN se disparan en las conversaciones de fusión

Gestión de riesgos versus innovación

Bird explicó además en una publicación de blog cómo los ejecutivos de empresas están intentando lograr un equilibrio entre la innovación y la gestión de riesgos. Quieren utilizar IA generativa “sin que les muerda”.

"Los ataques de inyección rápida se han convertido en un desafío importante, donde actores maliciosos intentan manipular un sistema de inteligencia artificial para que haga algo fuera de su propósito previsto, como producir contenido dañino o filtrar datos confidenciales", explicó Bird.

Añadió que además de mitigar los riesgos, las empresas también estaban preocupadas por la calidad y la confiabilidad.

"Quieren asegurarse de que sus sistemas de inteligencia artificial no generen errores ni agreguen información que no esté respaldada en las fuentes de datos de la aplicación, lo que puede erosionar la confianza del usuario", dijo.

Preocupaciones del mercado

Bird admitió que hay temores Microsoft y otras empresas de IA quieren detectar a las personas qué se debe considerar apropiado y qué no.

Sin embargo, su equipo, dijo, agregó una forma para que los clientes de Azure "alternen el filtrado del discurso de odio o la violencia que el modelo ve y bloquea".

En cuanto a los Google Géminis, que recientemente hizo ruido debido a sus imágenes escandalosas, los filtros destinados a reducir el sesgo dieron como resultado efectos no deseados.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://metanews.com/microsoft-unveils-features-to-tackle-ai-hallucinations/