Este artículo de IA presenta TabM: un modelo eficiente de aprendizaje profundo basado en conjuntos para un procesamiento robusto de datos tabulares

Al procesar formatos de datos complejos, el aprendizaje profundo ha transformado varios ámbitos, incluidos las finanzas, la atención médica y el comercio electrónico. Sin embargo, aplicar modelos de aprendizaje profundo a datos tabulares, caracterizados por filas y columnas, plantea desafíos únicos. Si bien el aprendizaje profundo se ha destacado en el análisis de imágenes y texto, las técnicas clásicas de aprendizaje automático, como los árboles de decisión impulsados ​​por gradientes, aún dominan los datos tabulares debido a su confiabilidad e interpretabilidad. Los investigadores están explorando nuevas arquitecturas que puedan adaptar eficazmente técnicas de aprendizaje profundo para datos tabulares sin sacrificar la precisión o la eficiencia.

Un desafío importante al aplicar el aprendizaje profundo a datos tabulares es equilibrar la complejidad del modelo y la eficiencia computacional. Los métodos tradicionales de aprendizaje automático, en particular los árboles de decisión impulsados ​​por gradientes, ofrecen un rendimiento constante en diversos conjuntos de datos. Por el contrario, los modelos de aprendizaje profundo sufren de sobreajuste y requieren amplios recursos computacionales, lo que los hace menos prácticos para muchos conjuntos de datos del mundo real. Además, los datos tabulares exhiben estructuras y distribuciones variadas, lo que dificulta que los modelos de aprendizaje profundo se generalicen bien. Por lo tanto, surge la necesidad de un modelo que logre una alta precisión y siga siendo eficiente en diversos conjuntos de datos.

Los métodos actuales para datos tabulares en el aprendizaje profundo incluyen perceptrones multicapa (MLP), transformadores y modelos basados ​​en recuperación. Si bien los MLP son simples y computacionalmente livianos, a menudo no logran capturar interacciones complejas dentro de datos tabulares. Las arquitecturas más avanzadas, como los transformadores y los métodos basados ​​en la recuperación, introducen mecanismos como capas de atención para mejorar la interacción de las funciones. Sin embargo, estos enfoques a menudo requieren importantes recursos computacionales, lo que los hace poco prácticos para grandes conjuntos de datos y limita su aplicación generalizada. Esta brecha en el aprendizaje profundo de datos tabulares llevó a explorar arquitecturas alternativas y más eficientes.

Investigadores de Yandex y HSE University introdujeron un modelo llamado TabM, construido sobre una base MLP pero mejorado con BatchEnsemble para un ensamblaje eficiente en parámetros. Este modelo genera múltiples predicciones dentro de una sola estructura al compartir la mayoría de sus pesos entre los miembros del conjunto, lo que le permite producir predicciones diversas y débilmente correlacionadas. Al combinar simplicidad con un ensamblaje efectivo, TabM equilibra eficiencia y rendimiento, con el objetivo de superar a los modelos MLP tradicionales sin la complejidad de las arquitecturas de transformadores. TabM ofrece una solución práctica que brinda ventajas para el aprendizaje profundo sin las demandas excesivas de recursos típicamente asociadas con los modelos avanzados.

La metodología detrás de TabM aprovecha BatchEnsemble para maximizar la diversidad y precisión de la predicción mientras se mantiene la eficiencia computacional. Cada miembro del conjunto utiliza pesos únicos, conocidos como adaptadores, para crear una variedad de predicciones. TabM genera resultados sólidos al promediar estas predicciones, mitigar el sobreajuste y mejorar la generalización en diversos conjuntos de datos. El enfoque de los investigadores combina la simplicidad de MLP con un ensamblaje eficiente, creando una arquitectura de modelo equilibrada que mejora la precisión predictiva y es menos propensa a los errores comunes de los datos tabulares. El diseño eficiente de TabM le permite lograr una alta precisión en conjuntos de datos complejos sin las grandes demandas computacionales de los métodos basados ​​en transformadores.

Las evaluaciones empíricas demuestran el sólido desempeño de TabM en 46 conjuntos de datos públicos, mostrando una mejora promedio de aproximadamente 2,07 % con respecto a los modelos MLP estándar. Específicamente, en divisiones basadas en dominios (que representan escenarios más complejos del mundo real), TabM superó a muchos otros modelos de aprendizaje profundo, lo que demuestra su solidez. TabM mostró capacidades de procesamiento eficientes en grandes conjuntos de datos, administrando conjuntos de datos con hasta 6,5 ​​millones de objetos en el conjunto de datos de Maps Routing en 15 minutos. Para las tareas de clasificación, TabM utilizó la métrica ROC-AUC, logrando una precisión constante. Al mismo tiempo, se empleó el error cuadrático medio (RMSE) para tareas de regresión, lo que demuestra la capacidad del modelo para generalizar eficazmente en varios tipos de tareas.

El estudio presenta un avance significativo en la aplicación del aprendizaje profundo a datos tabulares, fusionando la eficiencia de MLP con una estrategia de ensamblaje innovadora que optimiza las demandas computacionales y la precisión. Al abordar las limitaciones de los modelos anteriores, TabM proporciona una solución accesible y confiable que satisface las necesidades de los profesionales que manejan diversos tipos de datos tabulares. Como alternativa a los tradicionales árboles de decisión impulsados ​​por gradientes y a las complejas arquitecturas neuronales, TabM representa un desarrollo valioso que ofrece un modelo optimizado y de alto rendimiento capaz de procesar de manera eficiente conjuntos de datos tabulares del mundo real.

Mira el Papel. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.

(SEMINARIO WEB GRATUITO sobre IA) Implementación del procesamiento inteligente de documentos con GenAI en servicios financieros y transacciones inmobiliarias

Nikhil es consultor interno en Marktechpost. Está cursando una doble titulación integrada en Materiales en el Instituto Indio de Tecnología de Kharagpur. Nikhil es un entusiasta de la IA/ML que siempre está investigando aplicaciones en campos como los biomateriales y la ciencia biomédica. Con una sólida formación en ciencia de materiales, está explorando nuevos avances y creando oportunidades para contribuir.