Browsing by Subject "Data drift"

Now showing 1 - 1 of 1
  • Thumbnail Image
    Item
    Implementación de un sistema automatizado de reentrenamiento mediante la detección de data drift en un ciclo MLOps para entornos Big Data
    (Pontificia Universidad Javeriana Cali, 2026) Castro Clavijo, Leyton Jean Piere; Buitrago Carmona, Felipe
    El presente proyecto propone un sistema automatizado de reentrenamiento de modelos de machine learning que responde a la detección temprana del data drift en entornos Big Data. En la actualidad, las organizaciones enfrentan pérdidas promedio de 12,9 millones de USD anuales por mala calidad de datos y 4,88 millones por brechas de información (Gartner Inc., 2024; IBM Newsroom, 2024), lo que evidencia la necesidad de soluciones que garanticen precisión, continuidad y resiliencia en sistemas basados en datos. El sistema desarrollado monitorea de forma continua los flujos de entrada de los modelos en producción; cuando identifica desviaciones estadísticamente significativas en las distribuciones de los datos (mediante pruebas Kolmogorov Smirnov, χ 2 y PSI), activa un pipeline automatizado que reentrena, valida y despliega una nueva versión del modelo. Este ciclo garantiza modelos actualizados, trazables y auditables, capaces de mantener su exactitud predictiva en condiciones de cambio. La arquitectura, basada en prácticas MLOps, integra tecnologías abiertas como Docker para contenerización, Spark para procesamiento distribuido, Jenkins para orquestación CI/CD y MLflow para versionado y trazabilidad del ciclo de vida del modelo. Los experimentos realizados en escenarios con y sin drift muestran que el sistema detecta las desviaciones con latencias operativas subminuto, ejecuta reentrenamientos autónomos y recupera completamente el desempeño del modelo: el F1-score inicial (≈ 0.83) retorna a 1.0 tras la actualización automática, evidenciando la eficacia del esquema de detección y respuesta. Estos resultados confirman que la automatización reduce significativamente la intervención humana, mejora la estabilidad operativa y evita degradaciones prolongadas del modelo, aportando un flujo reproducible de detección → respuesta → verificación. En términos de impacto, el proyecto contribuye a los ODS 8, 9 y 12: impulsa eficiencia y productividad mediante automatización inteligente (ODS 8), fortalece la infraestructura analítica y la innovación digital (ODS 9), y promueve la sostenibilidad operativa al reducir retrabajos, riesgos y desperdicio computacional (ODS 12).