DRESCOM: Sistema de eliminación de datos masivos en modelos relacionales complejos
Loading...
Date
2024
Authors
Director
Journal Title
Journal ISSN
Volume Title
Publisher
Pontificia Universidad Javeriana Cali
Abstract
Source Meridian es una compañía que se encarga de brindar soluciones al sector salud de EE.UU. y la comercialización de información. En búsqueda de alcanzar mejor calidad en sus productos, ha empezado a implementar Chaos Engineering (el cual consiste en probar la tolerancia a fallos del sistema en un ambiente productivo y garantizar que los sistemas deben responder sin ir a afectar a ningún cliente), pero esto ha ocasionado dificultades en sus procesos de borrado de información a causa de los grandes volúmenes de datos que son inyectados tanto por parte de los clientes, como resultado de las pruebas para alcanzar alta disponibilidad y los modelos de bases de datos relacionales complejos (relaciones autorreferenciales entre tablas o con un grado de dependencia muy grande, es decir, muchas tablas referencian a una sola o las relaciones de dependencia son muy profundas). Debido a las características que poseen sus modelos relacionales y la sensibilidad que presenta la información (pues implementan arquitectura multi-tenant en esquema de base de datos compartida), en el presente documento se propone un sistema que permite el borrado masivo de datos sobre la base de datos relacional PostgreSQL, a partir de unos criterios de eliminación, garantizando la integridad y consistencia de los datos en modelos complejos referenciales con volúmenes gigantes de datos.
Description
item.page.descriptioneng
Source Meridian is a company that provides solutions to the U.S. healthcare sector and information marketing. In search of achieving better quality in its products, it has begun to implement Chaos Engineering (which consists of testing the system’s fault tolerance in a productive environment and guaranteeing that the systems should respond without affecting any client), but this has caused difficulties in its information deletion processes due to the large volumes of information that are injected by clients, as a result of testing to achieve high availability and complex relational database models (self-referential relationships between tables or with a very high degree of dependency, i.e., many tables refer to a single table or the dependency relationships are very deep). Due to the characteristics of its relational models and the sensitivity of the information (as they implement multi-tenant architecture in a shared database schema), this paper proposes a system that allows the massive deletion of data on the PostgreSQL relational database, based on elimination criteria, guaranteeing the integrity and consistency of the data in complex referential models with huge volumes of data.
Keywords
Eliminación de registros en RDS, Eliminación masiva en RDS, Eliminación en modelos RDS complejos, Record deletion in RDS, Mass deletion in RDS, Deletion in complex RDS models, Data cleaning, Standard data deletion method