Los pronosticadores estiman las probabilidades de que ocurran eventos, una suposición más informativa que un simple "sí" o "no", con semanas o meses de anticipación, a menudo con una precisión notable. Los usuarios de Metaculus predijeron correctamente la fecha de la invasión rusa de Ucrania con dos semanas de anticipación.
La predicción como herramienta
"Pronóstico, está en todas partes, ¿verdad?"
"Elija una agencia gubernamental, y definitivamente tienen algún tipo de pronóstico en marcha".
Los pronosticadores ayudan a las instituciones a anticipar el futuro. También les ayuda a cambiarlo. Prever eventos geopolíticos con semanas o meses de anticipación ayuda a "detener la sorpresa" y "asistir a los responsables de la toma de decisiones a tomarlas". Los pronosticadores actualizan sus predicciones basándose en las políticas promulgadas por los legisladores, para anticipar cómo es probable que una intervención política hipotética cambie los resultados futuros. Si los tomadores de decisiones están en un camino indeseable, los pronosticadores pueden ayudarlos a "cambiar el escenario en el que se encuentran".
IA y aprendizaje automático
El aprendizaje automático ha sido útil durante mucho tiempo en dominios con datos abundantes y bien estructurados, como el pronóstico del tiempo. Al pronosticar la geopolítica o los avances tecnológicos, "habrá muchos factores complejos e interdependientes que el juicio humano puede manejar de manera más accesible y asequible", dice el CEO de Metaculus.
Los modelos de lenguaje trabajan con la misma información desordenada que los pronosticadores humanos y son capaces de simular este juicio humano. También están mejorando de la misma manera que lo hacen los humanos: haciendo predicciones sobre muchas preguntas, viendo cómo se desempeñan y actualizando sus métodos de pronóstico basados en los resultados, a una escala mucho mayor de la que los humanos son capaces de hacer.
La capacitación que reciben las IA está apareciendo en las clasificaciones. En junio, el bot mejor clasificado, construido por Metaculus sobre el modelo de razonamiento o1 de OpenAI, ocupó el puesto 25 en la copa. Esta vez, Mantic es el octavo de 549 concursantes, la primera vez que un bot se coloca entre los 10 primeros en la serie de la competencia.
Ventaja de las máquinas
El concurso contiene una muestra relativamente pequeña de 60 preguntas. Además, la mayoría de los 600 concursantes son aficionados, algunos de los cuales solo predicen un puñado de preguntas en el torneo, dejándolos con una puntuación baja.
Finalmente, las máquinas tienen una ventaja injusta: los participantes ganan puntos no solo por su precisión, sino también por qué tan temprano hacen predicciones, de cuántas preguntas hacen predicciones y con qué frecuencia actualizan sus estimaciones. Una IA que es menos precisa que los competidores humanos todavía puede hacerlo bien en las clasificaciones al actualizar constantemente sus estimaciones en respuesta a las noticias emergentes, de una manera que es inviable para los humanos.
Un pronosticador de IA confiable podría rastrear cientos de preguntas simultáneamente, lo que permite desplazar a los mejores pronosticadores humanos solo contra aquellas preguntas que la IA considere dignas de un mayor escrutinio.
"Lo único sobre la previsión, o análisis predictivo, es que apoya la toma de decisiones".
"Un líder machista tirará los datos por la ventana si tiene un presentimiento en una dirección diferente". Ese es un problema que la IA no puede resolver… todavía.