En un publicado en el servidor de preimpresión Arxiv.org, los investigadores de Facebook y la Universidad de Ciencia y Tecnología de Hong Kong proponen el uso de modelos de lenguaje natural como verificadores de datos, inspirados en el hecho de que los modelos entrenados en documentos de la web muestran una sorprendente cantidad de conocimiento mundial. Su enfoque propuesto emplea un modelo de clasificador de verificación que cuando se le da un reclamo original y un reclamo generado determina si el reclamo está respaldado o refutado, o si la información es insuficiente para hacer una llamada.

Según una encuesta oficial por Zignal Labs, el 86% de los estadounidenses que consumen noticias a través de las redes sociales no siempre verifica la información que leen, y es probable que al 61% le guste, comparta o comente cualquier contenido sugerido por un amigo. A pesar de los mejores esfuerzos de Facebook, las noticias falsas continúan proliferando en la plataforma, con información errónea sobre el pandemia y protestas, por ejemplo, atrayendo de miles a millones de globos oculares.

Los coautores de este artículo, que afirman que el suyo es el primer trabajo de este tipo, postulan que la capacidad de los modelos lingüísticos para memorizar información podría mejorar la eficacia del proceso de verificación de datos de Facebook. También afirman que los modelos podrían acelerar la verificación de hechos al eliminar las búsquedas en espacios masivos de documentos y al automatizar los pasos de capacitación y verificación que actualmente realizan los humanos.

El modelo de lenguaje de verificación de hechos de extremo a extremo de los investigadores realiza enmascaramiento automático, eligiendo enmascarar entidades (es decir, personas, lugares y cosas) y tokens (palabras) que hacen uso de su capacidad para recuperar estructuras y sintaxis. (Este enfoque surgió de la observación de que la factualidad a menudo depende de la exactitud de las entidades y las posibles relaciones entre ellas, en lugar de cómo se expresa la afirmación, según los investigadores). El modelo luego obtiene el token predicho superior y completa el bit enmascarado para crear una oración de "evidencia", después de lo cual utiliza la afirmación y la evidencia para obtener características de implicación al predecir la "relación de verdad" entre pares de textos. Por ejemplo, dado el par de oraciones T y H, el modelo asumiría "oración T implica H"Si una lectura humana T inferiría que H es muy probable que sea cierto.

Los investigadores realizaron experimentos en FIEBRE, un conjunto de datos de verificación de hechos a gran escala que contiene alrededor de 5.4 millones de artículos de Wikipedia. Con un modelo BERT previamente entrenado disponible públicamente como su modelo de lenguaje de verificación de hechos, examinaron su precisión.

El modelo BERT de mejor rendimiento logró un 49% de precisión sin la necesidad de recuperación explícita de documentos o selección de evidencia, según el equipo, lo que sugiere que fue al menos tan efectivo como la línea de base estándar (48.8%) y la línea de base aleatoria (33%). Pero no alcanzó el sistema de última generación probado contra FEVER, que logró más del 77% de precisión.

Los investigadores atribuyen el déficit a las limitaciones del modelo de lenguaje; por ejemplo, las afirmaciones en FEVER con menos de cinco palabras proporcionan poco contexto para la predicción. Pero dicen que sus hallazgos demuestran el potencial de las técnicas de preentrenamiento de modelos que almacenan y codifican mejor el conocimiento y que sientan las bases para los sistemas de verificación de datos basados ​​en modelos que han demostrado ser efectivos en la respuesta generativa a preguntas.

“Un trabajo reciente ha sugerido que los modelos de lenguaje (ML) almacenan tanto el conocimiento de sentido común como el conocimiento fáctico aprendido de los datos previos a la capacitación”, escribieron los coautores. "[Creemos que nuestro enfoque tiene un gran potencial de mejora, y el trabajo futuro puede explorar el uso de modelos más sólidos para generar evidencias o mejorar la forma en que enmascaramos las afirmaciones".

Fuente: http://feedproxy.google.com/~r/venturebeat/SZYF/~3/PEH-X0nrGz0/