Prithvi WxC lanzado por IBM y la NASA: un modelo básico de 2.300 millones de parámetros para el tiempo y el clima

La predicción del clima y del tiempo ha experimentado rápidos avances a través del aprendizaje automático y modelos de aprendizaje profundo. Los investigadores han comenzado a confiar en la inteligencia artificial (IA) para mejorar la precisión de las predicciones y la eficiencia computacional. Los modelos tradicionales de predicción numérica del tiempo (PNT) han sido eficaces, pero requieren importantes recursos computacionales, lo que los hace menos accesibles y más difíciles de aplicar a escalas mayores. Mientras tanto, los modelos de aprendizaje profundo pueden capturar patrones y relaciones complejos dentro de la atmósfera utilizando muchos menos recursos computacionales. Este cambio de paradigma permite a los investigadores desarrollar modelos más escalables y versátiles, facilitando predicciones críticas tanto para la previsión meteorológica a corto plazo como para la modelización climática a largo plazo.

Un problema fundamental en la predicción meteorológica y climática es la necesidad de que los modelos tradicionales capturen procesos atmosféricos no lineales, especialmente a resoluciones más finas. La falta de un modelo unificado que aborde simultáneamente varios casos de uso, como predicciones meteorológicas regionales, pronóstico de eventos extremos y análisis del impacto climático, plantea un desafío importante. Además, se necesitan modelos que puedan funcionar eficazmente en diferentes escalas espaciales y temporales. Esta brecha se destaca aún más cuando se trata de eventos extremos localizados, que requieren datos de alta resolución que muchos modelos tienen dificultades para procesar sin incurrir en altos costos computacionales. Por lo tanto, desarrollar un modelo único de IA a gran escala que aborde múltiples desafíos de pronóstico puede mejorar sustancialmente los enfoques existentes.

Los modelos actuales de aprendizaje profundo para las ciencias atmosféricas, como FourCastNet, Pangu y GraphCast, están diseñados en gran medida para tareas de pronóstico específicas. Estos modelos se centran en cuestiones como la previsión a corto plazo, pero necesitan más flexibilidad para una gama más amplia de aplicaciones. Además, la mayoría de estos modelos utilizan arquitecturas y objetivos específicos de tareas, lo que limita su capacidad para funcionar en diversos escenarios de pronóstico, especialmente en predicciones a largo plazo o tareas complejas de modelado climático. Como resultado, estos modelos, aunque avanzados, a menudo necesitan una mayor generalización para una investigación climática integral.

Investigadores de IBM Research y la NASA han presentado Prithvi WxCun modelo básico de 2.300 millones de parámetros para la previsión meteorológica y climática. El modelo Prithvi WxC incorpora 160 variables del Análisis retrospectivo de la era moderna para investigación y aplicaciones, versión 2 (MERRA-2), un conjunto de datos de alta resolución que cubre las condiciones atmosféricas globales. Este modelo emplea una arquitectura de última generación basada en transformador codificador-decodificador, lo que le permite capturar dependencias locales y globales en los datos atmosféricos de manera eficiente. El uso de un modelo de transformador facilita el manejo de dependencias de largo alcance en los datos, lo que permite modelar interacciones atmosféricas complejas en varias escalas, desde local hasta global.

La arquitectura central de Prithvi WxC presenta una combinación de mecanismos de atención locales y globales que le permiten procesar grandes cantidades de tokens, capturando de manera efectiva patrones espaciales y temporales en los datos de entrada. También emplea una función objetivo mixta que integra tareas de reconstrucción y pronóstico enmascaradas. Este enfoque único permite que el modelo se generalice bien en diferentes aplicaciones, que van desde el pronóstico de implementación autorregresiva hasta la estimación de eventos climáticos extremos. Además, el modelo incorpora una fase de preentrenamiento con 25 bloques codificadores y 5 decodificadores, utilizando técnicas avanzadas de IA como codificación automática enmascarada y predicción de tiempo de entrega variable. La flexibilidad del modelo se ve reforzada aún más por su capacidad de incorporar tokens adicionales de mediciones fuera de la red durante el ajuste fino, lo que lo hace adaptable para diversas aplicaciones posteriores.

Durante la evaluación, Prithvi WxC mostró un rendimiento superior en varios puntos de referencia. Uno de los aspectos más destacados fue su capacidad para predecir con precisión la trayectoria y la intensidad del huracán Ida, logrando un error de trayectoria promedio de solo 63,9 km en comparación con los 201,9 km de otros modelos líderes. El modelo también se probó en tareas posteriores como la reducción de escala, donde demostró un notable error cuadrático medio espacial (RMSE) de 0,73 K al predecir la temperatura del aire a 2 metros, superando a los métodos tradicionales por un factor de cuatro. Sus capacidades se extienden a la parametrización del flujo de ondas de gravedad, donde superó a los modelos de referencia al predecir con éxito los flujos de impulso en la troposfera superior.

Conclusiones clave de la investigación:

Prithvi WxC es un modelo básico de 2.300 millones de parámetros que incorpora 160 variables atmosféricas.
El modelo utiliza una arquitectura basada en transformadores con mecanismos de atención locales y globales.
Logró un error de seguimiento medio de 63,9 km para el huracán Ida, superando significativamente a otros modelos.
Prithvi WxC ha mostrado un RMSE espacial de 0,73 K en tareas de reducción de escala, superando en cuatro a los métodos tradicionales.
El enfoque de entrenamiento único del modelo integra reconstrucción y pronóstico enmascarados, lo que lo hace adaptable a diversas aplicaciones atmosféricas.
Los investigadores han demostrado su eficacia en múltiples tareas posteriores, incluida la predicción de eventos extremos y la parametrización del flujo de ondas de gravedad.

En conclusión, el desarrollo de Prithvi WxC supone un salto significativo en la modelización meteorológica y climática, proporcionando una solución escalable y versátil que aborda las limitaciones de los modelos actuales. Su capacidad para manejar múltiples tareas utilizando una arquitectura unificada lo posiciona como una piedra angular potencial para futuros avances en la ciencia climática. El éxito del modelo en varios puntos de referencia y su manejo superior de interacciones atmosféricas complejas indica que los modelos básicos como Prithvi WxC podrían revolucionar la forma en que se realizan las predicciones meteorológicas y climáticas, mejorando la precisión y reduciendo los costos computacionales.

Mira el Papel, Tarjeta modelo en cara abrazaday Página de GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..

No olvides unirte a nuestro SubReddit de más de 50.000 ml

¿Quiere estar frente a más de 1 millón de lectores de IA? Trabaja con nosotros aquí

Asif Razzaq es el director ejecutivo de Marktechpost Media Inc.. Como empresario e ingeniero visionario, Asif está comprometido a aprovechar el potencial de la inteligencia artificial para el bien social. Su esfuerzo más reciente es el lanzamiento de una plataforma de medios de inteligencia artificial, Marktechpost, que se destaca por su cobertura en profundidad del aprendizaje automático y las noticias sobre aprendizaje profundo que es técnicamente sólida y fácilmente comprensible para una amplia audiencia. La plataforma cuenta con más de 2 millones de visitas mensuales, lo que ilustra su popularidad entre el público.