STGformer: un transformador de gráficos espaciotemporal que logra una eficiencia y un rendimiento computacionales inigualables en aplicaciones de pronóstico de tráfico a gran escala

La previsión del tráfico es un aspecto fundamental de la gestión de ciudades inteligentes, esencial para mejorar la planificación del transporte y la asignación de recursos. Con el rápido avance del aprendizaje profundo, ahora se pueden modelar de manera efectiva patrones espaciotemporales complejos en los datos de tráfico. Sin embargo, las aplicaciones del mundo real presentan desafíos únicos debido a la naturaleza a gran escala de estos sistemas, que generalmente abarcan miles de sensores interconectados distribuidos en vastas áreas geográficas. Los modelos tradicionales, como las redes neuronales de gráficos (GNN) y las arquitecturas basadas en transformadores, se han adoptado ampliamente en la previsión del tráfico debido a su capacidad para capturar dependencias espaciales y temporales. Sin embargo, a medida que estas redes crecen, sus demandas computacionales aumentan exponencialmente, lo que dificulta la aplicación de estos métodos a redes extensas como el sistema de carreteras de California.

Uno de los problemas más apremiantes de los modelos existentes es su incapacidad para manejar redes de carreteras de gran escala de manera eficiente. Por ejemplo, los puntos de referencia populares como la serie PEMS y MeTR-LA contienen relativamente pocos nodos, lo que es manejable para modelos estándar. Sin embargo, estos conjuntos de datos no representan con precisión la complejidad de los sistemas de tráfico del mundo real, como el Sistema de Medición del Rendimiento Caltrans de California, que comprende casi 20.000 sensores activos. El desafío importante es mantener la eficiencia computacional mientras se modelan patrones locales y globales dentro de una red tan grande. Sin una solución efectiva, las limitaciones de los modelos actuales, como el alto uso de memoria y el extenso tiempo de cálculo requerido, continúan obstaculizando su escalabilidad e implementación en escenarios prácticos.

Se han introducido varios enfoques para abordar estas limitaciones, combinando GNN y modelos basados en Transformer para aprovechar sus fortalezas. Los métodos basados en la atención espaciotemporal como STAEformer proporcionan interacciones espaciotemporales de alto orden utilizando múltiples capas apiladas. Si bien estos modelos mejoran el rendimiento en conjuntos de datos pequeños y medianos, sus costos computacionales los hacen poco prácticos para redes de gran escala. En consecuencia, existe la necesidad de arquitecturas novedosas que puedan equilibrar la complejidad del modelo y los requisitos computacionales y, al mismo tiempo, garantizar predicciones de tráfico precisas en diversos escenarios.

Investigadores del Centro Conjunto de Investigación SUSTech-UTokyo sobre Ciudades Súper Inteligentes, la Universidad de Ciencia y Tecnología del Sur (SUSTech), la Universidad de Jilin y la Universidad de Tokio desarrollaron el STGformer. Este novedoso modelo integra mecanismos de atención espaciotemporal dentro de una estructura gráfica. El equipo de investigación introdujo este modelo para lograr una alta eficiencia en la previsión del tráfico. La innovación clave en STGformer radica en su arquitectura, que combina convoluciones basadas en gráficos con bloques de atención similares a Transformer en una sola capa. Esta integración le permite mantener el poder expresivo de Transformers al tiempo que reduce significativamente los costos computacionales. A diferencia de los métodos tradicionales que requieren múltiples capas de atención, STGformer captura interacciones espaciotemporales de alto orden en un solo bloque de atención. Este enfoque único da como resultado una aceleración de 100 veces y una reducción del 99,8 % en el uso de memoria de la GPU en comparación con el modelo STAEformer cuando se prueba en el punto de referencia LargeST.

Los investigadores implementaron un módulo avanzado de atención de gráficos espaciotemporales que procesa las dimensiones espaciales y temporales como una entidad unificada. Este diseño reduce la complejidad computacional al adoptar un mecanismo de atención lineal, que reemplaza la operación softmax estándar con una función de ponderación eficiente. La eficiencia de este método se demostró utilizando múltiples conjuntos de datos a gran escala, incluidos los conjuntos de datos de San Diego y el Área de la Bahía, donde STGformer superó a los modelos de última generación. El conjunto de datos de San Diego logró una mejora del 3,61 % en el error absoluto medio (MAE) y una reducción del 6,73 % en el error porcentual absoluto medio (MAPE) en comparación con los mejores modelos anteriores. Se observaron tendencias similares en otros conjuntos de datos, destacando la solidez y adaptabilidad del modelo en diversos escenarios de tráfico.

La arquitectura de STGformer proporciona un gran avance en la previsión de tráfico al hacer viable la implementación de modelos en redes de tráfico a gran escala del mundo real sin comprometer el rendimiento o la eficiencia. Cuando se probó en la red de carreteras de California, el modelo demostró una eficiencia notable al completar la inferencia por lotes 100 veces más rápido que STAEformer y utilizar solo el 0,2 % de los recursos de memoria. Estas mejoras hacen de STGformer una base adecuada para futuras investigaciones y desarrollo en modelado espaciotemporal. Sus capacidades de generalización se validaron aún más mediante pruebas de escenarios de varios años, donde el modelo mantuvo una alta precisión incluso cuando se aplicó a datos no vistos del año siguiente.

Conclusiones clave de la investigación:

Eficiencia computacional: en comparación con modelos tradicionales como STAEformer, STGformer logra una aceleración de 100 veces y una reducción del 99,8% en el uso de memoria de la GPU.
Escalabilidad: El modelo puede manejar redes del mundo real con hasta 20.000 sensores, superando las limitaciones de los modelos existentes que fallan en implementaciones a gran escala.
Ganancias de rendimiento: Logró una mejora del 3,61 % en MAE y una reducción del 6,73 % en MAPE en el conjunto de datos de San Diego, superando a los modelos de última generación.
Capacidad de generalización: Demostró un rendimiento sólido en diferentes conjuntos de datos y mantuvo la precisión en las pruebas interanuales, lo que demuestra adaptabilidad a las condiciones cambiantes del tráfico.
Arquitectura novedosa: La integración de la atención del gráfico espaciotemporal con mecanismos de atención lineal permite a STGformer capturar patrones de tráfico locales y globales de manera eficiente.

En conclusión, el modelo STGformer presentado por el equipo de investigación presenta una solución altamente eficiente y escalable para la previsión del tráfico en redes de carreteras a gran escala. Abordar las limitaciones de los GNN existentes y los métodos basados en Transformer permite una asignación de recursos y una planificación del transporte más efectivas en la gestión de ciudades inteligentes. La capacidad del modelo propuesto para manejar datos espaciotemporales de alta dimensión utilizando recursos computacionales mínimos lo convierte en un candidato ideal para su implementación en aplicaciones de pronóstico de tráfico del mundo real. Los resultados obtenidos en múltiples conjuntos de datos y puntos de referencia enfatizan su potencial para convertirse en una herramienta estándar en la informática urbana.

Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa..

No olvides unirte a nuestro SubReddit de más de 50.000 ml

¿Quiere estar frente a más de 1 millón de lectores de IA? Trabaja con nosotros aquí

Aswin AK es pasante de consultoría en MarkTechPost. Está cursando su doble titulación en el Instituto Indio de Tecnología de Kharagpur. Le apasiona la ciencia de datos y el aprendizaje automático, y aporta una sólida formación académica y experiencia práctica en la resolución de desafíos interdisciplinarios de la vida real.