Parte 3 – Mãos à massa! Iniciando um Catálogo de Dados

Finalmente começaremos a construir um Catálogo de Dados. Tem pessoas ou tutoriais que darão a orientação de começar definindo processos, políticas e acordos para, então, começar a catalogar de fato.

Vou na linha prática, mão na massa, e dizer: comece a catalogar!

1. Agora eu começo o Catálogo!

Qual a diferença entre começar a catalogar primeiro e definir processos depois ou definir processos primeiro e catalogar depois?

No final, o resultado tem de ser o mesmo: um Catálogo de Dados. 

O caminho para chegar lá é que muda. Definindo primeiro os processos, faremos um trabalho de catalogação mais eficaz e eficiente. Saberemos o que fazer, quando fazer, como fazer e onde fazer. Mas, principalmente, começar organizado, vai garantir que os objetivos do Catálogo sejam alcançados mais facilmente.

Começar fazendo vai te trazer uma visão de retorno mais rápido, mas corre o risco de lá na frente ter que voltar para ajustar pontos que poderiam ter sido detectados ao pensar no processo, nas políticas etc.

Acredito que as duas abordagens têm seu valor e vou seguir pelo caminho de começar a fazer. Este é meu propósito com essa sequência de postagens: fazer algo rápido e simples.

Passo 1: defina quais ativos de dados serão catalogados

Essa etapa é crucial para fazermos um bom trabalho. Lembra da definição “tl;dr;” de um Catálogo de Dados? 

tl;dr; (too long, didn’t read): Um local para procurar por ativos de dados, isto é, procurar por tabelas, dashboards, datasets etc

Defina quais ativos serão catalogados: bases de dados, tabelas, views, arquivos, vídeos, áudios, em nuvem, locais entre outros.

Tendo isso definido, vamos ao seguinte passo.

Passo 2: liste todas as fontes de dados

Estes dados podem ser estruturados ou não, não importa como estão ou onde estão, para esse caso, só importa o que você queira catalogar!

Listou todas as fontes de dados? Lembra daqueles Metadados e do Glossário de Termos que falamos antes?

SE VOCÊ NÃO TEM IDEIA DO QUE ESTOU ESCREVENDO, VOLTE 2 POSTS

https://leonardoborba.com.br/catalogo-de-dados/construindo-um-catalogo-de-dados-parte1/

https://leonardoborba.com.br/catalogo-de-dados/parte-2-spoiler-nao-e-agora-que-comecamos-o-catalogo/

Agora que você tem em mãos o seu Glossário e os seus Metadados, eles irão se associar a cada ativo do seu Catálogo de Dados!

Como isso?

Passo 3: juntando tudo

Os metadados são os dados sobre o seu dado, isto é, seu ativo. Eu mencionei que não iria fugir dessa definição. Então, para cada categoria de ativo que será catalogado, determine quais metadados serão preenchidos.

O mesmo vale para os Termos do Glossário. Para cada ativo, verifique se existe um ou mais termos associados àquele ativo em questão.

Todas essas associações a cada ativo, de metadados e termos, facilitarão as buscas e ajudarão a ter um entendimento mais completo do ativo catalogado.

 

Passo 4: popule seu catálogo!

Você já sabe exatamente o que preencher para cada ativo do seu catálogo. É só fazer. Existem várias ferramentas no mercado que auxiliam essa tarefa. Algumas open-source, outras pagas. Umas boas, outras não tão boas. Tem pra todos os gostos. Eu sou fã da Tableau e da Google hahaha

Mas também tem uma ferramenta que eu mesmo desenvolvi. Mas isso é outro papo… 

No entanto, você não precisa gastar rios de dinheiro. Já escrevi algumas vezes nesta sequência: uma planilha resolve!

Comece seu catálogo pelo Microsoft Excel ou Google Sheets se você não tem ou não está disposto a investir numa ferramenta que requer grande manutenção.

O mais importante é perceber o valor rapidamente para que todos da sua empresa entendam o trabalho feito e possam investir e expandir para mais áreas. 

 

Passo 5: precisamos falar sobre processos

Já fizemos o Catálogo de Dados, o Glossário de Termos e os Metadados. Como sustentar tudo isso?

No próximo texto trarei essa visão mais burocrática mas extremamente necessária para o bom funcionamento do Catálogo de Dados. 

 

Um pequeno exemplo para não ficar nada vazio ou em branco.

 

Exemplo

Imagina uma empresa de transportes querendo fazer um Catálogo de Dados.

• Qual é o objetivo do Catálogo? Neste exemplo, o objetivo do catálogo é identificar rapidamente todos os dados para cálculo de indicadores comerciais e financeiros.
• Defina o Glossário de Termos. Por ser um catálogo voltado a indicadores comerciais e financeiros, faremos dois glossários, um para cada área. 

 

• • Glossário de Termos Comerciais

Termo	Definição	Associação
Ticket	Número referente ao conjunto de carga que será transportado.	Glossário de Termos Financeiros > Ticket
Veículo	Transporte que será utilizado para a movimentação das cargas de cada ticket.

• • Glossário de Termos Financeiros

Termo	Definição	Associação
Ticket	Valor referente ao contrato formalizado entre a transportadora e o cliente.	Glossário de Termos Comerciais > Ticket
Ticket médio	Valor médio de um conjunto de tickets

 

OBS.: Note neste exemplo que eu coloquei duas vezes a palavra Ticket exatamente para deixar claro que a mesma palavra pode ter significados diferentes e por isso é importante um Glossário. É importante que essas diferenças sejam qualificadas.

 

• Defina os metadados. Vou colocar poucos metadados para ser algo rápido:
  • Metadados de Negócio
    • Atributo: Descrição do dado
    • Atributo: Proprietário do dado
    • Atributo: Regras de validação

 

• Metadados de Governança
  • Atributo: Confidencialidade

 

• Agora é a hora de listar os ativos que irei catalogar:
  • Planilhas de controle do pátio;
  • Tabelas do sistema de contratação e pagamento;
• Feito essa listagem, é só juntar tudo, pois eu sei que irei catalogar planilhas e tabelas, quais metadados irei preencher e como associá-los ao glossário.  No fim, terei algo próximo a:

Ativo	Descrição	Proprietário	Regras de Validação	Confidencialidade	Termo associado
tbl_contratos_ativos	Tabela que armazena os contratos em andamento	Pessoa 1	Não aplica	Interno	Glossário de Termos Comerciais > Ticket
tbl_vendas	Tabela que armazena os valores financeiros de cada contrato	Pessoa 2	chave estrangeira da tbl_contratos_ativos	Restrito	Glossário de Termos Comerciais > Ticket Glossário de Termos Financeiros > Ticket

• Este é um Catálogo de Dados que lista 2 tabelas. 
• Um desses ativos está relacionado a dois Termos de Glossários distintos. 
• Tem relacionamento entre termos de glossários distintos.

 

Como manter isso tudo? Por isso, falar de processos é importante… Até o próximo post!