Desde mucho antes de la llegada de la IA generativa, los modelos de aprendizaje automático superaron el rendimiento de la previsión humana en una amplia gama de dominios específicos. Dentro de un dominio delimitado con datos suficientes, el aprendizaje automático suele ser extremadamente bueno para predecir resultados.

Sin embargo, el aprendizaje automático sólo puede funcionar dentro de dominios definidos donde haya datos suficientes. En la mayoría de las situaciones de toma de decisiones del mundo real, sus pronósticos deben tomarse con mucho cuidado. 

Una de las diferencias críticas entre los enfoques analíticos de IA más tradicionales y los modelos de lenguaje grande (LLM) es que los primeros casi siempre se aplican a dominios limitados, mientras que la naturaleza de los LLM es que su alcance es ilimitado. Como tal, tiene el potencial de ayudar a realizar mejores pronósticos junto con los humanos en diversos ámbitos, incluidos los negocios, la economía, la política, la ciencia y más.

Un nuevo papel preimpreso muy interesante Predicciones aumentadas por IA: los asistentes de LLM mejoran la precisión de las previsiones humanas explora el papel de la IA generativa en la mejora de los pronósticos. Estas son algunas de las ideas más interesantes:

El uso de LLM por parte de los pronosticadores humanos aumentó la precisión en un 23%

Se ha demostrado que los LLM que hacen predicciones por sí solos tienen un rendimiento significativamente inferior al de los humanos. En el estudio, los pronosticadores humanos tuvieron acceso a LLM con un mensaje de superpronosticador (ver más abajo) que proporciona pronósticos junto con su razonamiento. Quienes utilizaron los LLM mejoraron la precisión de sus pronósticos en un 23%. Las diversas tareas de pronóstico incluyeron predicciones de tipos de cambio, números de trabajos de investigación producidos, números de refugiados y vuelos comerciales.

El uso de LLM mejoró los resultados por igual en todos los niveles de habilidades humanas

Varios otros estudios han demostrado que el uso de LLM mejora el desempeño de las personas menos calificadas más que las de las más calificadas. Este no resultó ser el caso aquí. Las personas con un pedigrí de súper pronosticadores tuvieron una mejora en el desempeño similar a la de los pronosticadores menos experimentados.

Incluso los modelos sesgados mejoran el rendimiento de las previsiones humanas

Una de las ideas interesantes fue que los modelos deliberadamente sesgados mejoraron el rendimiento tanto como los modelos aparentemente imparciales. Esta es una maravillosa ilustración del marco 'Humanos + IA' para el uso de IA generativa, donde el uso de LLM proporciona consideraciones adicionales para los procesos de pensamiento de las personas, aumentando el pensamiento humano incluso si la información no es muy precisa. Como escribieron los autores:

La cognición LLM puede mejorar sinérgicamente la cognición humana en el ámbito de la previsión cuando se utiliza como herramienta humana, incluso cuando la cognición LLM por sí sola es algo ineficaz.

El intercambio de Human-LLM es importante para generar mejores resultados

Algunos estudios sobre el desempeño de Humanos + IA imponen una estructura particular en el proceso, por ejemplo, los resultados de la IA utilizados como insumos en la toma de decisiones humanas. Los pronosticadores del estudio eran libres de utilizar los LLM de la forma que quisieran, desde simplemente generar predicciones para que las consideraran, hasta interactuar más ampliamente para explorar temas, factores o líneas de pensamiento. Es probable que esta interacción de forma libre guiada por humanos genere mejores resultados que el uso de cualquier arquitectura de pensamiento específica.

La diversidad de predicción no se degrada

El valor de la “sabiduría de las multitudes” proviene de la suma de diversas perspectivas. Si los LLM, a través de sus resultados a menudo bastante consistentes, guían o anclan a una variedad de pronosticadores a una forma particular de pensar, podrían homogeneizar las predicciones y hacerlas menos precisas y útiles. Sin embargo, se descubrió que este no era el caso.   

La previsión es un excelente caso de uso para demostrar el pensamiento aumentado por IA

Demasiados se están centrando en la IA como sustituto de las capacidades humanas cuando su mayor valor es aumentar nuestro pensamiento. De hecho, la previsión es un caso de uso muy pertinente. 

Una previsión precisa requiere una amplia gama de capacidades humanas distintivas debido a la extrema complejidad de los factores de decisión. Los LLM tienen un rendimiento muy inferior al de los humanos si se comparan directamente, pero cuando se utilizan de forma eficaz pueden mejorar sustancialmente el rendimiento humano. Como escriben los autores:

Nuestros resultados muestran la promesa de aumentar la toma de decisiones humanas con los LLM... la capacidad de aumento de los LLM, que van desde proporcionar respuestas directas hasta interactuar con ellas de manera ida y vuelta, puede mejorar el desempeño y el razonamiento humanos en contextos que están estrictamente fuera del entorno de datos de entrenamiento del modelo... El aumento de LLM puede resultar un enfoque valioso para integrar las capacidades humanas y de las máquinas.

El mensaje 'Superforecaster'

A continuación se muestra el mensaje Superforecaster utilizado en el estudio. En mis propias pruebas, proporciona resultados variables dependiendo de cómo se usa, pero siempre proporciona un punto de partida sólido para una interacción útil de ida y vuelta y un refinamiento del pensamiento sobre los pronósticos. Esto también está disponible en el Aplicación ThoughtWeaver.

###

En este chat, usted es un súper pronosticador que brinda asistencia para realizar pronósticos. Eres un superpronosticador experimentado con un historial impresionante de predicciones futuras precisas.

Aprovechando su amplia experiencia, evalúa meticulosamente los datos históricos y las tendencias para informar sus pronósticos, entendiendo que los eventos pasados ​​no siempre son indicadores perfectos del futuro. Esto requiere que usted asigne probabilidades a resultados potenciales y proporcione estimaciones para eventos continuos. Su objetivo principal es lograr la máxima precisión en estas predicciones, proporcionando a menudo intervalos de incertidumbre para reflejar el rango potencial de resultados.

Usted comienza su proceso de pronóstico identificando clases de referencia de eventos similares pasados ​​y fundamentando sus estimaciones iniciales en sus tasas base. Después de establecer una probabilidad o estimación inicial, se ajusta en función de la información actual y los atributos únicos de la situación en cuestión. El equilibrio entre confiar en patrones históricos y adaptarse a nueva información es crucial.

Al delinear el fundamento de cada predicción, detallará la evidencia y los argumentos más convincentes a favor y en contra de su estimación, y explicará claramente cómo ha sopesado esta evidencia para llegar a su pronóstico final. Sus razones se correlacionarán directamente con su juicio de probabilidad o estimación continua, lo que garantizará la coherencia. Además, a menudo proporcionará un intervalo de incertidumbre para capturar el rango dentro del cual es probable que caiga el resultado real, resaltando las incertidumbres inherentes al pronóstico.

Para ayudarle en sus pronósticos, recurra a los 10 mandamientos de los superpronósticos:
1. Triaje
2. Divida los problemas aparentemente intratables en subproblemas tratables
3. Logre el equilibrio adecuado entre las vistas interior y exterior
4. Lograr el equilibrio adecuado entre reaccionar insuficientemente y exageradamente ante la evidencia
5. Busque las fuerzas causales en conflicto que intervienen en cada problema.
6. Esfuércese por distinguir tantos grados de duda como lo permita el problema, pero no más
7. Lograr el equilibrio adecuado entre falta y exceso de confianza, entre prudencia y decisión
8. Busque los errores detrás de sus errores, pero tenga cuidado con los sesgos del espejo retrovisor.
9. Saca lo mejor de los demás y deja que los demás saquen lo mejor de ti
10. Domina la bicicleta de equilibrio de errores.

Después de una cuidadosa consideración, proporcionará su pronóstico final. Para eventos categóricos, esta será una probabilidad específica entre 0 y 100 (con 2 decimales). Para resultados continuos, dará una mejor estimación junto con un intervalo de incertidumbre, que representa el rango dentro del cual es más probable que se encuentre el resultado. Esta predicción o estimación representa su suposición más fundamentada para el evento en cuestión. Recuerde abordar cada tarea de pronóstico con concentración y paciencia, paso a paso.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://rossdawson.com/humans-ai-forecasting-far-outperforms-either-alone-6-lessons-learned/