Parte 2 – (spoiler) não é agora que começamos o Catálogo

1. O que é um Catálogo de Dados?

Relembrando o que é um Catálogo de Dados…

tl;dr; (too long, didn’t read): Um local para procurar por ativos de dados, isto é, procurar por tabelas, dashboards, datasets etc.

OU

Um catálogo de dados é um inventário dos ativos de dados de uma empresa para que os usuários possam encontrar rapidamente as informações de que precisam. O catálogo é constituído principalmente de metadados que fornecem informações básicas sobre outros dados e descrevem o que são.

Se você não leu a primeira parte… só você não leu (risos), volta lá vai… https://leonardoborba.com.br/catalogo-de-dados/construindo-um-catalogo-de-dados-parte1/

 

2. Fiz o Glossário de Dados, qual é o próximo passo?

Feito o Glossário de Dados, o próximo passo ainda não é a criação do seu Catálogo de Dados. Temos um outro passo tão importante quanto: a criação da Estrutura de Metadados.

 

3. O que são Metadados?

Não fugirei do clichê “dados sobre dados”, já que a minha intenção nesta sequência é ser algo simples, usual e, principalmente, de fácil compreensão. Então, sim, a definição de dados sobre dados se aplica perfeitamente aqui. 

Entretanto, mais que isso, são dados RELEVANTES sobre os dados. São dados que ajudarão a descrever, explicar, localizar ou dar contexto sobre o dado principal. 

Existe uma regra? Tem que ter A, B ou C sobre um tipo de dado específico? Não existe. Mas pela experiência de profissionais e, até mesmo, com base no DAMA DMBOK, por exemplo, acaba que alguns metadados passam a aparecer constantemente para determinado tipo de dados e se tornam uma “regra não escrita”.

Metadados podem ser classificados como metadados técnicos, metadados de negócio, metadados operacionais e metadados de governança segundo o DAMA. Cada categoria dará informação sobre o dado sob diferente óptica, seja sobre a estrutura ou a qualidade até o contexto e o uso do dado.

 

4. E agora? Mão na massa!

Já que não é hora de começar a construir o Catálogo de Dados, vamos construir a Estrutura de Metadados!

• Primeiro defina os requisitos que você precisará para os seus metadados! Cada ambiente tem uma realidade diferente, como eu disse, não existe uma regra, então será preciso que você defina quais metadados você terá. 

Para isso, junte-se à área de Governança de Dados, ao time de Arquitetura, aos times de Negócios envolvidos e façam uma lista dos dados que vocês conseguem capturar e que agreguem valor ao dado analisado. 

Dica: não faça uma lista de 20 metadados se eles forem dar mais trabalho para buscar do que resultado em tê-lo. Neste caso, é melhor iniciar com 2 e ter 100% de retorno do que iniciar com 20 e ter 20% de retorno. 

• Classifique esse metadados listados na etapa anterior. Não precisa ter todas as categorias citadas, mas sim a que terão uso e enriquecerão o seu dado.

“LEMBRE que METADADOS são DADOS RELEVANTES SOBRE O DADO”

• Determine padrões de nomenclatura! Diferente do Glossário de Termos, aqui o objetivo é garantir a consistência e facilitar a compreensão. Convenções para nomear as categorias, os atributos e, principalmente, os valores dos metadados são SUPER BEM-VINDAS! 

Se você não leu sobre o Glossário de Dados, tá deixando conhecimento pra trás… Voltei uma casa e leia o post, são só 5 minutinhos… https://leonardoborba.com.br/catalogo-de-dados/construindo-um-catalogo-de-dados-parte1/

• O framework DAMA dirá que neste momento para estabelecer relacionamentos e hierarquias, algo parecido (mas não é a mesma coisa, não confunda) com as associações e sinônimos feito no Glossário de Termos.

Eu vou falar pra pular esta etapa. Ela é de grande valor mas pra quem está iniciando, o que já estamos fazendo tem tanto valor agregado que pular essa etapa, neste momento, neste contexto, não vai prejudicar nosso trabalho.

 

 

#presentePraVocês

Como eu falei, não existe uma regra sobre quais metadados ter, mas existe um padrão que vai se repetindo conforme o tempo e a experiência… fica uma lista de presente para ter como base e iniciar seu trabalho!

Categoria de Nível Superior: Metadados Gerais ou Metadados Principais

• Categoria 1: Metadados Técnicos
  • Atributo 1.1: Formato do arquivo
  • Atributo 1.2: Tamanho do arquivo
  • Atributo 1.3: Tipo de dados
  • Atributo 1.4: Localização física
• Categoria 2: Metadados de Negócio
  • Atributo 2.1: Descrição do dado
  • Atributo 2.2: Proprietário do dado
  • Atributo 2.3: Regras de validação
  • Atributo 2.4: Relação com processos de negócio
• Categoria 3: Metadados Operacionais
  • Atributo 3.1: Data de criação
  • Atributo 3.2: Data de modificação
  • Atributo 3.3: Status do dado
  • Atributo 3.4: Acesso e permissões
• Categoria 4: Metadados de Governança
  • Atributo 4.1: Políticas de governança aplicáveis
  • Atributo 4.2: Classificação e confidencialidade
  • Atributo 4.3: Histórico de alterações
  • Atributo 4.4: Procedência e lineage

 

5. Agora eu começo o Catálogo!

Nhaaahh, já tem muita coisa pra fazer com a definição e construção da Estrutura de Metadados. 

Prometo que no próximo post a gente começa o Catálogo de Dados.