Cumbre de DataGrail La IA generativa es un territorio inexplorado, y quienes deseen explorarlo deben ser conscientes de los peligros, advirtió la tienda de privacidad DataGrail en su cumbre esta semana en San Francisco.

Prácticamente todas las empresas que utilizan tecnología se enfrentan a una presión cada vez mayor para explotar GenAI, y muchas temen que si se quedan atrás de la tendencia, podrían perder frente a competidores más innovadores que han creado alguna herramienta o producto que les dará una ventaja competitiva. Pero junto con sus beneficios, la IA generativa introduce todo tipo de problemas que las empresas aún no comprenden o no saben cómo resolver.

Los modelos de lenguaje grandes pueden divulgar información confidencial y privada incluida en sus datos de entrenamiento, por ejemplo. Para realizar tareas como responder consultas, resumir documentos o escribir código, tienen que ingerir enormes cantidades de contenido. 

Bufetes de abogados, bancos u hospitales entrenarán modelos sobre datos confidenciales que contengan información de identificación personal, detalles financieros y registros médicos. ¿Cómo pueden proteger la información del cliente y su propia propiedad intelectual contra filtraciones accidentales?

Un desarrollador de Samsung en realidad proporcionó el código fuente propietario de ChatGPT con la esperanza de que pudiera ayudar a encontrar errores. Desde entonces, los ejecutivos de Apple, JPMorgan Chase y Amazon han prohibido a los trabajadores usar ChatGPT y herramientas similares internamente por temor a que el creador del software, OpenAI, pueda entrenar con sus datos y exponer sus secretos comerciales.

"Es un poco como los primeros días de la seguridad del software", dijo Alex Stamos, cofundador de Krebs Stamos Group, una consultora de ciberseguridad y ex director de seguridad de Facebook. El registro en la cumbre.

“Sabes, a principios de la década de 2000, había empresas que tenían una línea de aplicaciones comerciales o incluso equipos de productos sin control de seguridad centralizado.

“Y estamos como atrás con la IA. Si le pregunta a la junta directiva '¿cuáles cree que son sus riesgos?' no tienen idea. O si les piden a sus ejecutivos que les digan lo que está pasando, casi nunca obtienen una respuesta precisa”.

Los desarrolladores de modelos de IA generativa ofrecen la esperanza de una seguridad y privacidad ligeramente mejores para las empresas: OpenAI prometió cifrar y no entrenar en texto en las conversaciones entre su chatbot y los clientes de ChatGPT Enterprise, por ejemplo. Pero esto no resuelve otro tipo de problemas de la tecnología, como su tendencia a generar información falsa, un fenómeno conocido como "alucinación". 

Joshua Browder, director ejecutivo de DoNotPay –una startup que ha desarrollado un llamado “abogado robot” para ayudar automáticamente a los consumidores a hacer cosas como impugnar multas de estacionamiento mediante el uso de inteligencia artificial para redactar correos electrónicos o quejas oficiales– dijo que los errores fácticos harán que algunos servicios sean ineficaces.

“¿Quién es el responsable de las alucinaciones? Creo que eso es lo más importante”, dijo. El registro. “Imagínese si está intentando apelar un cargo en su factura de Internet y [la IA] dice que hubo cinco cortes de servicio cuando no los hubo. Si estás usando una herramienta y miente, ¿quién es legalmente responsable de ello? ¿Es el proveedor del modelo? ¿O es una empresa que lo utiliza? ¿Es el consumidor?

Peor aún, los chatbots podrían terminar arrojando respuestas inapropiadas que podrían ser tóxicas o sesgadas, lo que podría dañar la reputación de las empresas que los utilizan para interactuar con los clientes. Las medidas de seguridad, como los filtros de contenido, pueden bloquear malas palabras o solicitudes dañinas, pero no siempre funcionan.

"Todavía no sabemos realmente qué va a salir mal con la IA", dijo Stamos. “Es como en los años 90, cuando las vulnerabilidades básicas que existen en el software ni siquiera se habían descubierto todavía. Tendríamos situaciones en las que cada año habría una charla de BlackHat o una en DEF CON, lo que revolucionaría totalmente la industria, porque de repente, se descubrió que la investigación de una persona sobre un tipo de defecto era aplicable a miles de diferentes productos.

“Y ahí es donde nos encontramos con la IA: puedes idear una nueva forma de manipular el sistema para hacer algo dañino o romper sus promesas y no puedes prepararte para eso, porque nadie sabía que ese tipo de problema existía antes.

“El otro problema es que estos sistemas son increíblemente complicados: muy pocas personas entienden cómo funcionan realmente. Estas cosas son tan no deterministas y tan complejas que tratar de predecir qué cosas malas pueden suceder es imposible”.

Por último, existen otros riesgos al utilizar la IA generativa, como los problemas de derechos de autor. Muchas herramientas se basan en datos extraídos de Internet, y los creadores de contenido temen ser demandados por generar contenido basado en obras protegidas, como libros, canciones o arte. A principios de este mes, Microsoft declaró defendería a los clientes que pagan si enfrentan demandas de derechos de autor por usar sus herramientas Copilot.

El contenido generado por IA no puede protegerse legalmente según las leyes de derechos de autor vigentes en los EE. UU. ¿Puede un desarrollador patentar una invención si contiene código generado por un modelo de lenguaje grande? Coca-Cola lanzó recientemente un sabor de refresco que supuestamente fue creado por AI. La receta es un secreto, pero si otra empresa pudiera replicarla, ¿podría venderla?

Estos enigmas son difíciles de resolver. Hay demasiadas incógnitas en este momento y afectan a diferentes departamentos dentro de las organizaciones que tal vez no estén acostumbrados a trabajar juntos, como el departamento legal, de cumplimiento, de marketing, de ventas y de TI. Lo importante es ser consciente de que los peligros existen y estar preparados cuando surjan. ®

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://go.theregister.com/feed/www.theregister.com/2023/09/22/datagrail_generative_ai/