Análise de três dimensões de qualidade de dados em tabelas de compras de um ambiente de Data Warehouse

Abstract

Nos últimos anos, o aumento exponencial na criação de dados em todo o mundo tem despertado a atenção das grandes empresas para a importância de cuidados adequados com esse valioso recurso. Um dos critérios essenciais para obter projeções e análises precisas dos dados corporativos é a qualidade desses dados, uma vez que é fundamental garantir a integridade dos dados utilizados em qualquer estudo. Embora seja um tópico relativamente novo no mercado, é crucial considerar as formas de implementar a qualidade dos dados em empresas de pequeno e grande porte. Este estudo tem como objetivo desenvolver um código em Python para analisar três das seis dimensões reconhecidas da qualidade dos dados: completude, conformidade e precisão. Essa análise é realizada em tabelas de um Data Warehouse de uma empresa brasileira do setor varejista. Essas aná- lises são fundamentais para a correta varredura e interpretação das bases de dados em questão, permitindo a criação de Indicadores-Chave de Desempenho (KPIs) mais confiá- veis. O trabalho busca abrir caminho para o aprimoramento das práticas relacionadas à qualidade de dados, demonstrar a eficácia da aplicação da qualidade dos dados e evidenciar o impacto que a atenção aos percentuais de dados válidos pode ter nos indicadores corporativos da indústria.

In recent years, the exponential increase in data creation worldwide has drawn the attention of large companies to the importance of proper care for this valuable resource. One of the essential criteria for obtaining accurate projections and analyses of corporate data is the quality of this data, as it is crucial to ensure the integrity of the data used in any study. Although it is a relatively new topic in the market, it is crucial to consider ways to implement data quality in both small and large companies. This study aims to develop Python code to analyze three of the six recognized dimensions of data quality: completeness, compliance, and accuracy. This analysis is carried out on tables from a Data Warehouse of a Brazilian company in the retail sector. These analyses are fundamental for the proper scanning and interpretation of the databases in question, allowing for the creation of more reliable Key Performance Indicators (KPIs). The work seeks to pave the way for the improvement of data quality-related practices, demonstrate the effectiveness of applying data quality, and highlight the impact that attention to valid data percentages can have on industry corporate indicators.