Los modelos de aprendizaje automático pueden hacer que el procesamiento de contenido y el saneamiento de datos funcionen mejor y de manera más asequible que las personas que participan en plataformas de colaboración abierta, según un trío de investigadores.
Y eso no es necesariamente algo malo para quienes buscan trabajo, ya que algunos de los trabajos que probablemente se verán afectados parecen bastante horribles.
Los investigadores de la Universidad de Zúrich Fabrizio Gilardi, Meysam Alizadeh y Maël Kubli examinaron cómo ChatGPT, el gran modelo de lenguaje de OpenAI, manejó la anotación de texto (agregando etiquetas al texto para ayudar a los modelos de aprendizaje automático a comprender mejor) en comparación con la plataforma de crowdsourcing Amazon Mechanical Turk (turco).
Los académicos describen sus hallazgos en un papel cuyo título sirve como spoiler, "ChatGPT supera a los trabajadores de multitudes en tareas de anotación de texto".
Utilizando un conjunto de datos de muestra de 2,382 publicaciones de Twitter que ya habían sido etiquetadas por asistentes de investigación, los científicos compararon cómo les fue a los trabajadores de ChatGPT y MTurk con cinco tareas de etiquetado distintas.
El trabajo consistió en evaluar cómo cada tuit se relaciona con el tema de la moderación de contenido en términos de relevancia, postura, temas y encuadre del problema (por ejemplo, si la moderación de contenido se describe como un problema que limita el discurso o una solución que protege contra el discurso dañino).
“Encontramos que para cuatro de cinco tareas, la precisión de tiro cero de ChatGPT es mayor que la de MTurk”, afirma el documento. "... Además, ChatGPT es significativamente más barato que MTurk: las cinco tareas de clasificación cuestan alrededor de $ 68 en ChatGPT (25,264 anotaciones) y $ 657 en MTurk (12,632 anotaciones)".
Por anotación, ChatGPT cuesta alrededor de $ 0.003, que es unas veinte veces más barato que MTurk y es más preciso, dicen los investigadores.
Más preciso en este caso no es muy preciso. Fabrizio Gilardi, profesor de análisis de políticas en el departamento de ciencias políticas de la Universidad de Zúrich y uno de los coautores del artículo, dijo El registro en un correo electrónico que los resultados de ChatGPT tenían menos del 50 por ciento de precisión en algunas tareas, pero aún así eran mejores que los de MTurkers.
En general, los resultados de la investigación parecen haber terminado para los trabajadores humanos interesados en asegurar este tipo de trabajo.
Pero Gilardi advirtió contra la lectura demasiado amplia de los hallazgos.
“Es demasiado pronto para decir cómo ChatGPT podría reemplazar a los trabajadores colectivos”, dijo Gilardi en un comunicado enviado por correo electrónico a El registro. "Nuestro artículo demuestra el potencial de ChatGPT para las tareas de anotación de datos, pero se necesita más investigación para comprender completamente las capacidades de ChatGPT en esta área".
Gilardi dijo que es importante recopilar más datos utilizando diferentes tareas, tipos de datos e idiomas, y agregó que MTurkers realiza otros trabajos como investigación de encuestas, anotación de imágenes, transcripción de audio y video, pruebas de usabilidad. Y puede haber escenarios en los que los anotadores humanos puedan ser más productivos con la ayuda de un modelo como ChatGPT, sugirió.
Con esa advertencia, Gilardi dijo que para los tipos de tareas estudiadas, parece que ChatGPT puede reemplazar a los trabajadores de colaboración colectiva, lo cual es apto porque ciertamente modelos como este están capacitados en datos anotados por humanos de colaboración colectiva. El software de IA que se hace cargo del trabajo mundano de las personas podría tener beneficios para la salud mental, dado que los moderadores humanos han demandado sobre el trauma de revisar contenido tóxico.
Herramientas como ChatGPT podrían ser un candidato perfecto para reemplazar o reducir la anotación humana para aquellas tareas que implican una consideración ética.
“Esto tiene implicaciones para las tareas de anotación desagradables y duras, como la detección del discurso de odio, que tiene consecuencias psicológicas adversas para los anotadores humanos”, dijo Gilardi. "En otras palabras, herramientas como ChatGPT podrían ser un candidato perfecto para reemplazar o reducir la anotación humana para aquellas tareas que implican una consideración ética para que las realicen los humanos".
Últimamente también hemos sostenido la opinión de que ChatGPT y sus similares tienen un beneficio: resaltar las tareas monótonas y molestas que tenemos que hacer todos los días, como resumir informes, enviar correos electrónicos al jefe, escribir código repetitivo, completar la tarea, etc. Al ofrecer abordar el trabajo aburrido y repetitivo, los modelos pueden absorber parte de ese tedio, cuando una mejor solución podría ser repensar cómo empleamos y utilizamos a las personas de manera efectiva y eficiente en primer lugar.
Un Goldman Sachs reciente reporte [PDF] caracteriza la adopción de la IA generativa como un impulso de la productividad en lugar de un destructor de empleos, observamos. Dice: "la extrapolación de nuestras estimaciones a nivel mundial sugiere que la IA generativa podría exponer el equivalente a 300 millones de trabajos de tiempo completo a la automatización". ®
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
- Fuente: https://go.theregister.com/feed/www.theregister.com/2023/04/03/chatgpt_boring_turk_jobs/
