Implementación de un sistema automatizado de reentrenamiento mediante la detección de data drift en un ciclo MLOps para entornos Big Data

Castro Clavijo, Leyton Jean Piere

Implementación de un sistema automatizado de reentrenamiento mediante la detección de data drift en un ciclo MLOps para entornos Big Data

dc.contributor.advisor	Buitrago Carmona, Felipe
dc.contributor.author	Castro Clavijo, Leyton Jean Piere
dc.date.accessioned	2026-07-08T15:44:58Z
dc.date.available	2026-07-08T15:44:58Z
dc.date.issued	2026
dc.description.abstract	El presente proyecto propone un sistema automatizado de reentrenamiento de modelos de machine learning que responde a la detección temprana del data drift en entornos Big Data. En la actualidad, las organizaciones enfrentan pérdidas promedio de 12,9 millones de USD anuales por mala calidad de datos y 4,88 millones por brechas de información (Gartner Inc., 2024; IBM Newsroom, 2024), lo que evidencia la necesidad de soluciones que garanticen precisión, continuidad y resiliencia en sistemas basados en datos. El sistema desarrollado monitorea de forma continua los flujos de entrada de los modelos en producción; cuando identifica desviaciones estadísticamente significativas en las distribuciones de los datos (mediante pruebas Kolmogorov Smirnov, χ 2 y PSI), activa un pipeline automatizado que reentrena, valida y despliega una nueva versión del modelo. Este ciclo garantiza modelos actualizados, trazables y auditables, capaces de mantener su exactitud predictiva en condiciones de cambio. La arquitectura, basada en prácticas MLOps, integra tecnologías abiertas como Docker para contenerización, Spark para procesamiento distribuido, Jenkins para orquestación CI/CD y MLflow para versionado y trazabilidad del ciclo de vida del modelo. Los experimentos realizados en escenarios con y sin drift muestran que el sistema detecta las desviaciones con latencias operativas subminuto, ejecuta reentrenamientos autónomos y recupera completamente el desempeño del modelo: el F1-score inicial (≈ 0.83) retorna a 1.0 tras la actualización automática, evidenciando la eficacia del esquema de detección y respuesta. Estos resultados confirman que la automatización reduce significativamente la intervención humana, mejora la estabilidad operativa y evita degradaciones prolongadas del modelo, aportando un flujo reproducible de detección → respuesta → verificación. En términos de impacto, el proyecto contribuye a los ODS 8, 9 y 12: impulsa eficiencia y productividad mediante automatización inteligente (ODS 8), fortalece la infraestructura analítica y la innovación digital (ODS 9), y promueve la sostenibilidad operativa al reducir retrabajos, riesgos y desperdicio computacional (ODS 12).	spa
dc.description.degreelevel	Maestría
dc.description.degreename	Magíster en Ingeniería de Software
dc.format.extent	100 p.
dc.format.mimetype	application/pdf
dc.identifier.uri	http://hdl.handle.net/11522/5628
dc.language.iso	spa
dc.publisher	Pontificia Universidad Javeriana Cali
dc.publisher.department	Facultad de Ingeniería y Ciencias
dc.publisher.program	Maestría en Ingeniería de Software
dc.rights.accessrights	http://purl.org/coar/access_right/c_abf2
dc.rights.creativecommons	https://creativecommons.org/licenses/by-nc-sa/4.0/
dc.rights.uri	https://creativecommons.org/licenses/by-nc-sa/4.0/
dc.subject	Data drift	spa
dc.subject	MLOps	spa
dc.subject	Big Data	spa
dc.subject	Automatización del reentrenamiento	spa
dc.subject	Machine learning	spa
dc.subject	Automated retraining	eng
dc.title	Implementación de un sistema automatizado de reentrenamiento mediante la detección de data drift en un ciclo MLOps para entornos Big Data	spa
dc.type	master thesis
dc.type.coar	http://purl.org/coar/resource_type/c_bdcc
dc.type.local	Tesis/Trabajo de grado - Monografía - Maestría
dc.type.redcol	https://purl.org/redcol/resource_type/TM