Parte I · El problema y los datos
3 · La teoría de la calidad de datos
Los errores de un fichero de datos se repiten de un caso a otro y por eso se pueden catalogar. Este trabajo clasifica los errores en ocho familias, recogidas en un catálogo de patrones. Con él, la limpieza consiste en revisar el fichero familia por familia hasta completar la lista, de modo que el resultado no depende de lo que a cada persona se le ocurra mirar.
Las ocho familias y en cuáles cae este fichero
Esquema y metadatos
presente aquíNombres opacos (reg, cat, prod), sin diccionario, tipos mal declarados.
Valores y sintaxis
presente aquíAcentos incoherentes, emails con espacios, tildes y mayúsculas, formatos numéricos.
Registros y duplicados
presente aquí827 filas idénticas y un mismo correo para varias personas.
Integridad relacional
Claves que no casan entre tablas. (Aquí no aplica: tabla única.)
Temporal
presente aquíCuatro formatos de fecha en la misma columna. Ninguna fecha cae fuera del periodo 2019-2026.
Semántica de negocio
presente aquíValores que las reglas del dominio no permiten. Aquí: cada producto tiene un precio de catálogo y se vende de 1 a 5 unidades y hay ventas que rompen las dos reglas.
Para machine learning
Fugas, desbalanceo, escalas. Se vigila al modelar.
Gobernanza y PII
presente aquíDatos personales sin proteger; falta de anonimización.
Seis de las ocho familias aparecen en este fichero. La F6 es la que más cuesta ver, porque sus valores tienen el formato correcto: solo aparece al mirar el rango de cada variable dentro de su producto. Con esta clasificación, la limpieza sigue un orden previsto y no depende de ir encontrando problemas sobre la marcha.
Siguiente: ejecutar la limpieza →