Gestão de Dados, Governança de Dados, Engenharia de Dados e Análise de Dados, como isso tudo se relaciona?
Escrevi um artigo explicando a diferença entre Gestão de Dados e Governança de Dados. São dois termos que se confundem constantemente. Se você não leu, salve aí pra ler depois.
https://leonardoborba.com.br/gestao-de-dados/diferenca-gestao-de-dados-x-governanca-de-dados/
Mas desfeita a confusão, entendendo que a Gestão de Dados é um guarda chuva para as demais verticais sugeridas pelo framework DAMA DMBOK, vou escrever um pouco sobre como outras verticais se relacionam. Selecionei as que são mais faladas nas redes sociais e artigos de outros colegas.
Antes de seguirmos… o que é Engenharia de Dados e Análise de Dados?
Engenharia de Dados
Engenharia de Dados é a área responsável por tratar os dados de uma organização. A área é responsável por pensar, desenvolver e manter pipelines de dados, isto é, formas de tratar um dado em sua origem até o destino.
Análise de Dados
A parte de Análise de Dados eu não vou dizer que é uma área, pois em minha opinião pessoal, sendo bem redundante, é que TODOS devem ser capazes de analisar dados no mais estrito sentido da expressão, não só na vida profissional mas no dia a dia, dos mais simples aos mais complexos afazeres.
Dito isso, a Análise de Dados pode ser compreendida pelos times/áreas que recebem dados e os analisam com base em métricas e indicadores para gerar acompanhar, ter insights, melhorar, mudar alguma ação que está sendo realizada pela organização.
Muitos conceitos e áreas relacionadas…
Vamos lá, como isso tudo se relaciona? Estamos falando de três grandes verticais de grande importância para uma boa Gestão de Dados. Em minha experiência, acredito que essas três verticais compõem a espinha dorsal dos times que trabalham com dados, afinal:
- Engenharia de Dados: responsável por recuperar, tratar e disponibilizar os dados;
- Análise de Dados: entender e interpretar os dados gerando informações e conhecimento que servirão de base para tomadas de decisão;
- Governança de Dados: alinhar objetivos estratégicos com a organização e define indicadores e métricas, define papéis e responsabilidades dos times que atuam com dados, organiza e normatiza acessos e leituras dos dados;
Com essa espinha dorsal estruturada, como elas se relacionam na prática?
Vamos construir um case fictício e entender melhor como acontece no dia a dia
Cenário:
Uma grande empresa varejista, LeBor, enfrentava desafios relacionados à qualidade dos dados, dificuldades para obter informações consistentes e confiáveis para análise, e problemas de conformidade com regulamentações de proteção de dados. A empresa tinha uma ampla quantidade de dados, provenientes de várias fontes e sistemas, e a falta de uma estratégia de dados bem definida afetava a tomada de decisões e a eficiência operacional.
Solução:
A empresa decidiu implementar um programa abrangente de Gestão de Dados, que abordou as áreas de Governança de Dados, Business Intelligence e Engenharia de Dados. O programa foi dividido em várias etapas:
-
Governança de Dados:
- Foi criado um Comitê de Governança de Dados, composto por executivos e representantes de diferentes áreas da empresa, responsável por estabelecer as políticas e diretrizes de gerenciamento dos dados.
- Foram designados Stewards de Dados para diferentes conjuntos de dados, que ficaram encarregados de garantir a qualidade, integridade e conformidade dos dados.
-
Business Intelligence (BI):
- A equipe de BI trabalhou em estreita colaboração com o Comitê de Governança de Dados para entender as necessidades de informação e definir indicadores e métricas relevantes para os objetivos estratégicos da empresa.
- Foram implementados painéis de controle e relatórios interativos, permitindo aos gestores obter insights em tempo real sobre vendas, estoques, performance de produtos e outros aspectos cruciais do negócio.
-
Engenharia de Dados:
- A empresa investiu em uma infraestrutura robusta de dados, incluindo a criação de um data lake centralizado, que serviu como fonte única e confiável de informações para toda a empresa.
- A equipe de Arquitetura de Dados definiu modelos de dados padronizados e garantiram que os sistemas estivessem bem integrados para facilitar o fluxo de dados de forma consistente.
-
- A Modelagem de Dados foi utilizada para criar modelos conceituais e lógicos que descreviam os principais elementos de dados e seus relacionamentos, permitindo uma visão clara dos dados organizacionais.
- Esses modelos foram usados como referência para a construção do data lake e para guiar o trabalho de integração dos dados.
Resultados:
Com a implementação do programa de Gestão de Dados, a empresa LeBor obteve diversos resultados positivos:
-
Melhoria na qualidade dos dados: Com a governança e o monitoramento adequados, a qualidade dos dados melhorou significativamente, reduzindo erros e inconsistências.
-
Tomada de decisões informadas: Os painéis de controle e relatórios de BI forneceram aos gestores informações precisas e atualizadas, facilitando a tomada de decisões estratégicas e operacionais.
-
Eficiência operacional: Com os dados centralizados e bem organizados, os processos internos se tornaram mais eficientes, economizando tempo e recursos.
-
Conformidade com regulamentações: A empresa conseguiu atender às regulamentações de proteção de dados e garantir a privacidade dos clientes.
-
Crescimento de negócios: Acesso a informações de qualidade e uma base sólida de dados permitiram que a empresa identificasse oportunidades de negócios, o que contribuiu para o crescimento e a expansão do negócio.
Esse case de sucesso ilustra como a integração das áreas de Governança de Dados, Business Intelligence e Engenharia de Dados na empresa LeBor pode trazer resultados positivos e transformadores para uma organização, capacitando-a a tomar decisões mais embasadas, melhorar sua eficiência e aproveitar todo o potencial dos dados para o sucesso dos negócios.
Conclusão
Muito se fala a respeito de empresas Data Driven, isto é, toma suas decisões a partir de dados e informações relevantes, Cultura de Dados e que Dados é o novo petróleo.
Para se chegar ao maná dos Dados é preciso organização, estrutura, tempo e trabalho duro para colher os benefícios, planejar o caminho que será percorrido e corrigir o que precisa mudar de acordo com os objetivos.
Na data que publico este artigo, vivemos o boom das Inteligências Artificiais. Pense em quantos anos de dados foram sendo criados para que se chegasse onde estamos hoje! Não é do dia pra noite que as coisas irão se resolver.
Eu sempre trabalhei com pessoas experientes que diziam “não somos pastelaria”, “não tiramos pedido” e isto precisa ser verdade. Caso não seja, o investimento em times de dados não alcançará a maturidade esperada.