LogLLM: Aprovechamiento de modelos de lenguaje grandes para una detección mejorada de anomalías basada en registros

La detección de anomalías basada en registros se ha vuelto esencial para mejorar la confiabilidad del sistema de software mediante la identificación de problemas a partir de los datos de registro. Sin embargo, los métodos tradicionales de aprendizaje profundo a menudo tienen dificultades para interpretar los detalles semánticos de los datos de registro, normalmente en lenguaje natural. Los LLM, como GPT-4 y Llama 3, se han mostrado prometedores en el manejo de este tipo de tareas debido a su avanzada comprensión del lenguaje. Los métodos actuales basados ​​en LLM para la detección de anomalías incluyen ingeniería rápida, que utiliza LLM en configuraciones de cero o pocos disparos, y ajuste fino, que adapta modelos a conjuntos de datos específicos. A pesar de sus ventajas, estos métodos enfrentan desafíos a la hora de personalizar la precisión de la detección y gestionar la eficiencia de la memoria.

El estudio revisa los enfoques para la detección de anomalías basada en registros, centrándose en métodos de aprendizaje profundo, especialmente aquellos que utilizan LLM previamente capacitados. Las técnicas tradicionales incluyen métodos basados ​​en reconstrucción (como codificadores automáticos y GAN), que se basan en modelos de entrenamiento para reconstruir secuencias de registros normales y detectar anomalías basadas en errores de reconstrucción. Los métodos de clasificación binaria, normalmente supervisados, detectan anomalías clasificando secuencias de registros como normales o anormales. Los LLM, incluidos los modelos basados ​​en BERT y GPT, se emplean en dos estrategias principales: ingeniería rápida, que utiliza el conocimiento interno de los LLM, y ajuste fino, que personaliza los modelos para conjuntos de datos específicos para mejorar el rendimiento de la detección de anomalías.

Investigadores de SJTU, Shanghai, desarrollaron LogLLM, un marco de detección de anomalías basado en registros que utiliza LLM. A diferencia de los métodos tradicionales que requieren analizadores de registros, LogLLM preprocesa los registros con expresiones regulares. Aprovecha BERT para extraer vectores semánticos y utiliza Llama, un decodificador transformador, para la clasificación de secuencias de registros. Un proyector alinea los espacios vectoriales de BERT y Llama para mantener la coherencia semántica. El innovador proceso de formación en tres etapas de LogLLM mejora su rendimiento y adaptabilidad. Los experimentos en cuatro conjuntos de datos públicos muestran que LogLLM supera a los métodos existentes, detectando anomalías con precisión, incluso en registros inestables con plantillas en evolución.

El marco de detección de anomalías de LogLLM utiliza un enfoque de tres pasos: preprocesamiento, arquitectura del modelo y capacitación. Primero, los registros se preprocesan utilizando expresiones regulares para reemplazar los parámetros dinámicos con un token constante, lo que simplifica el entrenamiento del modelo. La arquitectura del modelo combina BERT para extraer vectores semánticos, un proyector para alinear espacios vectoriales y Llama para clasificar secuencias de registros. El proceso de capacitación incluye sobremuestreo de la clase minoritaria para abordar el desequilibrio de datos, ajustar Llama para las plantillas de respuestas, entrenar a BERT y el proyector para incrustaciones de registros y, finalmente, ajustar todo el modelo. QLoRA se utiliza para un ajuste eficiente, minimizando el uso de memoria y preservando el rendimiento.

El estudio evalúa el rendimiento de LogLLM utilizando cuatro conjuntos de datos del mundo real: HDFS, BGL, Liberty y Thunderbird. LogLLM se compara con varios métodos de aprendizaje semisupervisados, supervisados ​​y no profundos, incluidos DeepLog, LogAnomaly, PLELog y RAPID. La evaluación utiliza métricas como precisión, recuperación y puntuación F1. Los resultados muestran que LogLLM logra un rendimiento superior en todos los conjuntos de datos, con una puntuación F1 promedio un 6,6 % más alta que la mejor alternativa, NeuralLog. El método equilibra eficientemente la precisión y la recuperación, supera a otros en la detección de anomalías y demuestra la importancia de utilizar anomalías etiquetadas para el entrenamiento.

En conclusión, el estudio presenta LogLLM, un marco de detección de anomalías basado en registros que utiliza LLM como BERT y Llama. BERT extrae vectores semánticos de mensajes de registro, mientras que Llama clasifica secuencias de registros. Se utiliza un proyector para alinear los espacios vectoriales de BERT y Llama para lograr coherencia semántica. A diferencia de los métodos tradicionales, LogLLM preprocesa los registros con expresiones regulares, eliminando la necesidad de analizadores de registros. El marco se entrena mediante un novedoso procedimiento de tres etapas para mejorar el rendimiento y la adaptabilidad. Los resultados experimentales en cuatro conjuntos de datos públicos muestran que LogLLM supera a los métodos existentes, detectando anomalías de manera efectiva incluso en datos de registro inestables.

Mira el Papel y Página de GitHub. Todo el crédito por esta investigación va a los investigadores de este proyecto. Además, no olvides seguirnos en Gorjeo y únete a nuestro Canal de telegramas y LinkedIn Grarriba. Si te gusta nuestro trabajo, te encantará nuestro hoja informativa.. No olvides unirte a nuestro SubReddit de más de 55.000 ml.

(SEMINARIO WEB GRATUITO sobre IA) Implementación del procesamiento inteligente de documentos con GenAI en servicios financieros y transacciones inmobiliarias– Del marco a la producción

A Sana Hassan, pasante de consultoría en Marktechpost y estudiante de doble titulación en IIT Madras, le apasiona aplicar la tecnología y la inteligencia artificial para abordar los desafíos del mundo real. Con un gran interés en resolver problemas prácticos, aporta una nueva perspectiva a la intersección de la IA y las soluciones de la vida real.