Según una encuesta del Pew Center de 2019, la mayoría de los encuestados cree que el tono y la naturaleza del debate político en los EE. UU. Se han vuelto más negativos y menos respetuosos. Esta observación ha motivado a los científicos a estudiar la cortesía o la falta de ella en el discurso político, particularmente en la televisión abierta. Dada su capacidad para analizar el lenguaje a escala, se podría suponer que la inteligencia artificial y los sistemas de aprendizaje automático podrían ayudar en estos esfuerzos. Pero los investigadores de la Universidad de Pensilvania descubren que al menos una herramienta, la API de perspectiva de Jigsaw, claramente no está a la altura de la tarea.

La descortesía es más sutil y matizada que la toxicidad, por ejemplo, que incluye insultos de identidad, blasfemias y amenazas de violencia. Si bien la detección de descortesía es una tarea bien establecida en la IA, no está bien estandarizada, y el grado y el tipo de descortesía varía entre los conjuntos de datos.

Los investigadores estudiaron Perspective, una API impulsada por IA para la moderación de contenido desarrollada por Jigsaw, la organización que trabaja bajo la empresa matriz de Google, Alphabet, para abordar el ciberacoso y la desinformación, en parte debido a su uso generalizado. Organizaciones de medios, incluida la New York Times Vox Media, OpenWeb y Disqus lo han adoptado y ahora procesa 500 millones de solicitudes diarias.

Para evaluar la capacidad de Perspective para detectar la falta de civismo, los investigadores crearon un corpus que contiene 51 transcripciones de PBS NewsHour, The Rachel Maddow Show de MSNBC y Hannity de Fox News. Los anotadores leyeron cada transcripción e identificaron segmentos que parecían ser especialmente descorteses o civiles, calificándolos en una escala de diez puntos para medidas como "cortés / grosero", "amistoso / hostil", "cooperativo / pendenciero" y "tranquilo / agitado." Las puntuaciones y las selecciones de los anotadores se compusieron para obtener una puntuación de cortesía para cada fragmento entre 1 y 10, donde 1 es el más civilizado y 10 es el menos civilizado posible.

Después de ejecutar los fragmentos de transcripción anotados a través de la API de perspectiva, los investigadores descubrieron que la API no era lo suficientemente sensible como para detectar diferencias en los niveles de descortesía para calificaciones inferiores a seis. Las puntuaciones de perspectiva aumentaron para niveles más altos de descortesía, pero las puntuaciones de anotador y descortesía de Perspectiva solo coincidieron en el 51% de las veces.

“En general, para las noticias transmitidas, Perspective no puede reproducir la percepción de descortesía de las personas”, escriben los investigadores. "Además de la incapacidad de detectar el sarcasmo y el sarcasmo, parece haber un problema con la predicción excesiva de la falta de civismo en PBS y FOX [programación]".

En una prueba posterior, los investigadores tomaron muestras de miles de palabras de cada transcripción, reuniendo un total de 2,671, que alimentaron a Perspective para predecir la falta de civismo. Los resultados muestran una tendencia problemática: la perspectiva tiende a etiquetar ciertas identidades, como "gay", "afroamericano", "musulmán" e "islam", "judío", "mujeres" y "feminismo" y "feminista". como tóxico. Además, la API señala erróneamente las palabras relacionadas con la violencia y la muerte (p. Ej., "Morir", "matar", "disparar", "prostitución", "pornografía", "sexual") incluso en ausencia de descortesía, así como palabras que en un contexto podría ser tóxico pero en otro podría referirse a un nombre (por ejemplo, "Dick").

Otros auditores han afirmado que Perspective no modera el odio y el discurso tóxico por igual entre grupos de personas. Un estudio publicado por investigadores de la Universidad de Oxford, el Instituto Alan Turing, la Universidad de Utrecht y la Universidad de Sheffield encontró que la API Perspective lucha particularmente con las denuncias de odio que citan el discurso de odio de otros o hacen referencias directas a él. Un estudio anterior de la Universidad de Washington publicado en 2019 encontró que era más probable que Perspective etiquetara como "inglés alineado con negros" como ofensivo en comparación con "inglés alineado con blancos".

Por su parte, Jigsaw le dijo recientemente a VentureBeat que ha hecho y sigue progresando hacia la mitigación de los sesgos en sus modelos.

Los investigadores dicen que su trabajo destaca las deficiencias de la IA cuando se aplica a la tarea de detección de cortesía. Aunque creen que los prejuicios contra grupos como los musulmanes y los afroamericanos pueden reducirse mediante técnicas "basadas en datos", esperan que clasificar correctamente los casos extremos como el sarcasmo requerirá el desarrollo de nuevos sistemas.

“El trabajo que presentamos fue motivado por el deseo de aplicar métodos estándar para la predicción de la toxicidad para analizar la civilidad en las noticias estadounidenses. Estos métodos se desarrollaron para detectar comentarios groseros, irrespetuosos o irrazonables que probablemente lo hagan abandonar la discusión en un foro en línea ”, escribieron los coautores. “Encontramos que la incapacidad de Perspective para diferenciar los niveles de descortesía se debe en parte a las correlaciones espúreas que ha formado entre ciertas palabras no ofensivas y la descortesía. Muchas de estas palabras están relacionadas con la identidad. Nuestro trabajo facilitará los esfuerzos de investigación futuros sobre la eliminación de interferencias de predicciones automatizadas ".