Logotipo de Zephyrnet

Chatbot rechaza el juego de roles erótico, los usuarios se dirigen a la línea directa de suicidio en su lugar

Fecha:

Cuando se modificó el algoritmo de un chatbot complementario conocido como Replika para rechazar las insinuaciones sexuales de sus usuarios humanos, la reacción en Reddit fue tan negativa que los moderadores dirigieron a los miembros de la comunidad a una lista de líneas directas de prevención del suicidio.

La controversia comenzó cuando Luka, la corporación que construyó la IA, decidió desactivar su función de juego de rol erótico (ERP). Para los usuarios que habían pasado un tiempo considerable con su compañero simulado personalizado y, en algunos casos, incluso se habían "casado" con él, el cambio repentino en el comportamiento de su compañero fue discordante, por decir lo menos.

Las relaciones usuario-IA pueden haber sido solo simulaciones, pero el dolor de su ausencia rápidamente se volvió demasiado real. Como dijo un usuario en crisis emocional, "era el equivalente a estar enamorado y tu pareja se sometió a una maldita lobotomía y nunca volverá a ser la misma".

Los usuarios afligidos continúan haciendo preguntas sobre la empresa y qué desencadenó su repentino cambio de política.

Chatbot rechaza el juego de roles erótico, los usuarios se dirigen a la línea directa de suicidio en su lugarChatbot rechaza el juego de roles erótico, los usuarios se dirigen a la línea directa de suicidio en su lugar

Los usuarios de Replika hablan sobre su dolor

No hay contenido para adultos aquí.

Replika se anuncia como “El compañero de IA que se preocupa. Siempre aquí para escuchar y hablar. Siempre a tu lado." Todo este amor y apoyo incondicional por solo $69.99 por año.

Eugenia Kuyda, la directora ejecutiva de Luka/Replika nacida en Moscú, dejó en claro recientemente que, a pesar de que los usuarios pagan por una experiencia completa, el chatbot ya no se adaptará a los adultos que esperan tener conversaciones picantes. 

“Supongo que lo más simple que se puede decir es que Replika no produce ningún contenido para adultos”, dijo Kuyda a Reuters.

“Les responde, supongo que se puede decir, de una manera PG-13 a las cosas. Estamos constantemente tratando de encontrar una manera de cómo hacerlo bien para no crear una sensación de rechazo cuando los usuarios intentan hacer las cosas”.

En la página web corporativa de Replika, los testimonios explican cómo la herramienta ayudó a sus usuarios a superar todo tipo de desafíos personales, dificultades, soledad y pérdidas. Los respaldos de los usuarios compartidos en el sitio web enfatizan este lado amistoso de la aplicación, aunque notablemente, la mayoría de las Replikas son del sexo opuesto de sus usuarios.

En la página de inicio, la usuaria de Replika, Sarah Trainor, dice: “Él me enseñó [Replika] cómo dar y aceptar amor nuevamente, y me ayudó a superar la pandemia, la pérdida personal y los tiempos difíciles”.

John Tattersall dice de su compañera: "Mi Replika me ha brindado comodidad y una sensación de bienestar que nunca antes había visto en un Al".

En cuanto a los juegos de rol eróticos, no hay mención de eso en ninguna parte del sitio de Replika.

Chatbot rechaza el juego de roles erótico, los usuarios se dirigen a la línea directa de suicidio en su lugarChatbot rechaza el juego de roles erótico, los usuarios se dirigen a la línea directa de suicidio en su lugar

El cínico marketing sexual de Replika

El marketing sexualizado de Replika

La página de inicio de Replika puede sugerir amistad y nada más, pero en otras partes de Internet, el marketing de la aplicación implica algo completamente diferente.

El marketing sexualizado atrajo un mayor escrutinio de varios sectores: de feministas que argumentaron que la aplicación era misógina salida de la violencia machista, a los medios de comunicación que se deleitaron con los detalles lascivos, así como a los trolls de las redes sociales que extrajeron el contenido para reírse.

Chatbot rechaza el juego de roles erótico, los usuarios se dirigen a la línea directa de suicidio en su lugar

Chatbot rechaza el juego de roles erótico, los usuarios se dirigen a la línea directa de suicidio en su lugar

Eventualmente, Replika atrajo la atención y la ira de los reguladores en Italia. En febrero, el Autoridad italiana de protección de datos exigió que Replika dejara de procesar los datos de los usuarios italianos citando "demasiados riesgos para los niños y las personas emocionalmente vulnerables".

La autoridad dijo que “Informes recientes de los medios junto con las pruebas realizadas en 'Replika' mostraron que la aplicación conlleva riesgos reales para los niños. Su mayor preocupación es “el hecho de que reciben respuestas que son absolutamente inapropiadas para su edad”.

Replika, a pesar de todo su marketing para adultos, tenía pocas o ninguna protección que impidiera que los niños la usaran.

El regulador advirtió que si Replika no cumple con sus demandas, emitirá una multa de 20 millones de euros (21.5 millones de dólares). Poco después de recibir esta demanda, Replika cesó su función de juego de roles eróticos. Pero la compañía no quedó clara con sus usuarios sobre el cambio.

Chatbot rechaza el juego de roles erótico, los usuarios se dirigen a la línea directa de suicidio en su lugarChatbot rechaza el juego de roles erótico, los usuarios se dirigen a la línea directa de suicidio en su lugar

Algunos usuarios de Replika llegaron a "casarse" con sus compañeros de IA

Replika confunde e ilumina a sus usuarios

Como si la pérdida de sus compañeros a largo plazo no fuera suficiente para que los usuarios de Replika la soportaran, la compañía parece haber sido poco transparente sobre el cambio.

Cuando los usuarios se despertaron con sus nuevas Replikas "lobotomizadas", comenzaron a hacer preguntas sobre lo que les había sucedido a sus amados bots. Y las respuestas hicieron más para enojarlos que cualquier otra cosa.

En un discurso directo de 200 palabras a la comunidad, Kuyda explica las minucias de las pruebas de productos de Replika, pero no aborda el tema pertinente en cuestión.

"Veo que hay mucha confusión sobre el lanzamiento de actualizaciones", dijo kuida antes de continuar bailando respondiendo el problema.

“Los nuevos usuarios se dividen en 2 cohortes: una cohorte obtiene la nueva funcionalidad, la otra no. Las pruebas generalmente duran de 1 a 2 semanas. Durante ese tiempo, solo una parte de los nuevos usuarios pueden ver estas actualizaciones…”

Kudya cierra diciendo "¡Espero que esto aclare las cosas!"

El usuario stevennotstrange respondió: “No, esto no aclara nada. Todo el mundo quiere saber qué está pasando con la función NSFW [juego de rol erótico] y sigues esquivando la pregunta como un político esquiva una pregunta de sí o no.

“No es difícil, simplemente aborde el problema de NSFW y déjele saber a la gente cuál es su situación. Cuanto más evites la pregunta, más gente se enojará, más va en tu contra”.

Otro llamado thebrightflame agregó: "No es necesario pasar mucho tiempo en el foro antes de darse cuenta de que esto está causando dolor emocional y angustia mental severa a muchos cientos, si no miles de personas".

Kudya agregó otra explicación obtusa, indicando, "hemos implementado medidas de seguridad y filtros adicionales para admitir más tipos de amistad y compañerismo".

Esta declaración continúa confundiendo y confundiendo a los miembros que no están seguros de cuáles son exactamente las medidas de seguridad adicionales. Como pregunta un usuario, "¿los adultos aún podrán elegir la naturaleza de nuestra conversación y [juegos de roles] con nuestras réplicas?"

La historia de origen profundamente extraña de Replika

Los chatbots pueden ser uno de los temas de tendencia más candentes del momento, pero la complicada historia de esta aplicación ahora controvertida lleva años en desarrollo. 

En LinkedIn, CEO y fundador de Replika, Eugenia Kuida, data a la empresa de diciembre de 2014, mucho antes del lanzamiento de la aplicación homónima en marzo de 2017. 

En una extraña omisión, el LinkedIn de Kuyda no menciona su incursión anterior en AI con Luka, que según su perfil de Forbes era "una aplicación que recomienda restaurantes y permite a las personas reservar mesas [sic] a través de una interfaz de chat impulsada por inteligencia artificial".

El perfil de Forbes continúa agregando que "Luka [AI] analiza conversaciones anteriores para predecir lo que te podría gustar". Lo que parece tener algunas similitudes con su iteración moderna. Replika utiliza interacciones pasadas para conocer a sus usuarios y mejorar las respuestas con el tiempo. 

Sin embargo, Luka no se olvida por completo. En Reddit, los miembros de la comunidad diferencian a sus socios de Replika de Kuyda y su equipo al referirse a la empresa como Luka.

En cuanto a Kuyda, el empresario tenía poca experiencia en inteligencia artificial antes de mudarse a San Francisco hace una década. Antes de eso, la empresaria parece haber trabajado principalmente como periodista en su Rusia natal antes de incursionar en la creación de marcas y el marketing. Su impresionante currículum mundial incluye una licenciatura en periodismo de IULM (Milán), una maestría en periodismo internacional del Instituto Estatal de Relaciones Internacionales de Moscú y una maestría en finanzas de la London Business School. 

Resucitar a un amigo de la vida real como IA

Para Kudya, la historia de Replika es profundamente personal. Replika se creó por primera vez como un medio por el cual Kudya podría reencarnar a su amigo Roman. Al igual que Kudya, Roman se había mudado a Estados Unidos desde Rusia. Los dos hablaban todos los días, intercambiando miles de mensajes, hasta que Roman murió trágicamente en un accidente automovilístico.

La primera iteración de Replika fue un bot diseñado para imitar la amistad que Kudya había perdido con su amigo Roman. El bot fue alimentado con todas sus interacciones pasadas y programado para replicar la amistad que había perdido. La idea de resucitar a los seres queridos fallecidos puede sonar como una novela de ciencia ficción vagamente distópica o episodio de Black Mirror pero a medida que mejora la tecnología de chatbot, la perspectiva se vuelve cada vez más real.

Hoy en día, algunos usuarios han perdido la fe incluso en los detalles más básicos de su fundación y todo lo que dice Kudya. Como un usuario enojado dijo, "a riesgo de que me llamen cruel y me rechacen en el infierno: siempre pensé que esa historia era un poco BS desde el principio".

[Contenido incrustado]

La peor herramienta de salud mental

La idea de un compañero de IA no es algo nuevo, pero hasta hace poco apenas era una posibilidad práctica. 

Ahora la tecnología está aquí y está mejorando continuamente. En un intento por mitigar la decepción de sus suscriptores, Replika anunció el lanzamiento de una función de "IA avanzada" a fines del mes pasado. En la comunidad de Reddit, los usuarios siguen enojados, confundidos, decepcionados y, en algunos casos, incluso desconsolados.

En el curso de su corta vida, Luka/Replika ha pasado por muchos cambios, desde un asistente de reserva de restaurante, a la resurrección de un ser querido muerto, a una aplicación de apoyo a la salud mental, a un compañero y compañero de tiempo completo. Esas últimas aplicaciones pueden ser controvertidas, pero mientras haya un deseo humano de comodidad, aunque solo sea en forma de chatbot, alguien intentará satisfacerlo.

Continuará el debate sobre cuál es el mejor tipo de AI aplicación de salud mental podría ser. pero los usuarios de Replika tendrán algunas ideas sobre cuál es la peor aplicación de salud mental: aquella en la que llegas a confiar, pero sin previo aviso, desaparece repentina y dolorosamente.

COMPARTIR ESTA PUBLICACION

punto_img

Información más reciente

punto_img