Seguridad negocio

Las organizaciones que pretenden aprovechar el potencial de los LLM también deben poder gestionar los riesgos que, de otro modo, podrían erosionar el valor empresarial de la tecnología.

Phil Muncaster

Noviembre 06 2023  •  , 5 minuto. leer

Todo el mundo habla de ChatGPT, Bard y la IA generativa como tal. Pero después de las exageraciones, inevitablemente viene la prueba de la realidad. Si bien tanto los líderes empresariales como los de TI están entusiasmados con el potencial disruptivo de la tecnología en áreas como el servicio al cliente y el desarrollo de software, también son cada vez más conscientes de algunas posibles desventajas y riesgos a los que hay que prestar atención.

En resumen, para que las organizaciones aprovechen el potencial de los grandes modelos lingüísticos (LLM), también deben poder gestionar los riesgos ocultos que, de otro modo, podrían erosionar el valor empresarial de la tecnología.

¿Cuál es el problema con los LLM?

ChatGPT y otras herramientas de IA generativa funcionan con LLM. Funcionan mediante el uso de redes neuronales artificiales para procesar enormes cantidades de datos de texto. Después de aprender los patrones entre las palabras y cómo se usan en contexto, el modelo puede interactuar en lenguaje natural con los usuarios. De hecho, una de las principales razones del destacado éxito de ChatGPT es su capacidad para contar chistes, componer poemas y, en general, comunicarse de una manera que es difícil de distinguir de un ser humano real.

Lectura relacionada: Escribir como un jefe con ChatGPT: cómo mejorar en la detección de estafas de phishing

Los modelos de IA generativa impulsados ​​por LLM, tal como se utilizan en chatbots como ChatGPT, funcionan como motores de búsqueda supercargados, utilizando los datos con los que fueron entrenados para responder preguntas y completar tareas con un lenguaje similar al humano. Ya sean modelos disponibles públicamente o propietarios utilizados internamente dentro de una organización, la IA generativa basada en LLM puede exponer a las empresas a ciertos riesgos de seguridad y privacidad.

5 de los riesgos clave del LLM

1. Compartir demasiado datos confidenciales

Los chatbots basados ​​en LLM no son buenos para guardar secretos, ni tampoco para olvidarlos. Eso significa que cualquier dato que ingrese puede ser absorbido por el modelo y ponerse a disposición de otros o al menos usarse para entrenar futuros modelos LLM. trabajadores de samsung Descubrieron esto a su costa cuando compartieron información confidencial con ChatGPT mientras lo usaban para tareas relacionadas con el trabajo. En teoría, el código y las grabaciones de las reuniones que ingresaron en la herramienta podrían ser de dominio público (o al menos almacenados para uso futuro, como señalado por el Centro Nacional de Seguridad Cibernética del Reino Unido recientemente). A principios de este año, analizamos más de cerca cómo las organizaciones pueden Evite poner en riesgo sus datos al utilizar LLM..

2. Desafíos de derechos de autor  

Los LLM están capacitados con grandes cantidades de datos. Pero esa información a menudo se extrae de la web sin el permiso explícito del propietario del contenido. Eso puede crear posibles problemas de derechos de autor si continúas usándolo. Sin embargo, puede resultar difícil encontrar la fuente original de datos de capacitación específicos, lo que dificulta mitigar estos problemas.

3. Código inseguro

Los desarrolladores recurren cada vez más a ChatGPT y herramientas similares para ayudarles a acelerar el tiempo de comercialización. En teoría, puede ayudar generando fragmentos de código e incluso programas de software completos de forma rápida y eficiente. Sin embargo, los expertos en seguridad advierten que también puede generar vulnerabilidades. Esta es una preocupación particular si el desarrollador no tiene suficiente conocimiento del dominio para saber qué errores buscar. Si posteriormente el código defectuoso pasa a producción, podría tener un grave impacto en la reputación y requerir tiempo y dinero para solucionarlo.

4. Hackear el propio LLM

El acceso no autorizado y la manipulación de LLM podrían brindar a los piratas informáticos una variedad de opciones para realizar actividades maliciosas, como lograr que el modelo divulgue información confidencial mediante ataques de inyección rápida o realizar otras acciones que se supone deben estar bloqueadas. Otros ataques pueden implicar la explotación de vulnerabilidades de falsificación de solicitudes del lado del servidor (SSRF) en servidores LLM, lo que permite a los atacantes extraer recursos internos. Los actores de amenazas podrían incluso encontrar una manera de interactuar con sistemas y recursos confidenciales simplemente enviando comandos maliciosos a través de indicaciones en lenguaje natural.

Lectura relacionada: Black Hat 2023: la IA obtiene un gran premio en metálico para los defensores

Como ejemplo, ChatGPT tuvo que ser desconectado en marzo tras el descubrimiento de una vulnerabilidad que exponía los títulos de los historiales de conversaciones de algunos usuarios a otros usuarios. Para crear conciencia sobre las vulnerabilidades en las aplicaciones LLM, la Fundación OWASP publicó recientemente una lista de 10 lagunas de seguridad críticas comúnmente observado en estas aplicaciones.

5. Una filtración de datos en el proveedor de IA

Siempre existe la posibilidad de que una empresa que desarrolla modelos de IA pueda sufrir una vulneración, lo que permitiría a los piratas informáticos, por ejemplo, robar datos de entrenamiento que podrían incluir información confidencial confidencial. Lo mismo se aplica a las filtraciones de datos, como cuando Google fue inadvertidamente Filtrando chats privados de Bard. en sus resultados de búsqueda.

Qué hacer a continuación

Si su organización está interesada en empezar a aprovechar el potencial de la IA generativa para obtener una ventaja competitiva, hay algunas cosas que debería hacer primero para mitigar algunos de estos riesgos:

• Cifrado y anonimización de datos: Cifre los datos antes de compartirlos con los LLM para mantenerlos a salvo de miradas indiscretas y/o considere técnicas de anonimización para proteger la privacidad de las personas que podrían identificarse en los conjuntos de datos. La desinfección de datos puede lograr el mismo fin eliminando detalles confidenciales de los datos de entrenamiento antes de introducirlos en el modelo.
• Controles de acceso mejorados: Contraseñas seguras, autenticación multifactor (MFA) y políticas de privilegios mínimos ayudarán a garantizar que solo las personas autorizadas tengan acceso al modelo de IA generativa y a los sistemas de back-end.
• Auditorías periódicas de seguridad: Esto puede ayudar a descubrir vulnerabilidades en sus sistemas de TI que pueden afectar el LLM y los modelos de IA generativa en los que se basa.
• Practique planes de respuesta a incidentes: Un plan de IR sólido y bien ensayado ayudará a su organización a responder rápidamente para contener, remediar y recuperarse de cualquier infracción.
• Examine minuciosamente a los proveedores de LLM: Como para cualquier proveedor, es importante asegurarse de que la empresa que ofrece el LLM siga las mejores prácticas de la industria en materia de seguridad y privacidad de los datos. Asegúrese de que haya una divulgación clara sobre dónde se procesan y almacenan los datos del usuario, y si se utilizan para entrenar el modelo. ¿Cuánto tiempo se conserva? ¿Se comparte con terceros? ¿Puedes optar por que tus datos se utilicen para la formación?
• Asegúrese de que los desarrolladores sigan estrictas pautas de seguridad: Si sus desarrolladores utilizan LLM para generar código, asegúrese de que cumplan con las políticas, como las pruebas de seguridad y la revisión por pares, para mitigar el riesgo de que se introduzcan errores en producción.

La buena noticia es que no es necesario reinventar la rueda. La mayoría de los anteriores son consejos de seguridad de mejores prácticas probados y probados. Es posible que necesiten actualizaciones o ajustes para el mundo de la IA, pero la lógica subyacente debería resultar familiar para la mayoría de los equipos de seguridad.

OTRAS LECTURAS: A Bard's Tale: cómo los falsos bots de IA intentan instalar malware