Data Catalog

O Data Catalog permite explorar e gerenciar a estrutura dos seus bancos de dados conectados. Com ele, você pode visualizar schemas, tabelas, colunas, relacionamentos e enriquecer metadados para melhorar a compreensão dos seus dados.

Funcionalidades

📊 Exploração de Estrutura

Navegue por schemas, tabelas e colunas

📝 Metadados

Descrições do banco e manuais

🔗 Relacionamentos

FKs, inferidos e diagrama ERD

🔒 Visibilidade

Controle de acesso por coluna

Exploração de Estrutura

O Data Catalog exibe a estrutura completa do seu banco de dados:

Schemas e Tabelas

• Lista todos os schemas disponíveis na conexão
• Para cada schema, mostra as tabelas contidas
• Exibe contagem de colunas por tabela
• Indica tabelas com chaves primárias e índices

Colunas

Para cada tabela, você pode ver:

Informação	Descrição
Nome	Nome da coluna
Tipo	Tipo de dado (VARCHAR, INTEGER, etc.)
Nullable	Se aceita valores nulos
PK	Se faz parte da chave primária
FK	Se é chave estrangeira
Default	Valor padrão, se houver

Metadados

O Data Catalog suporta dois tipos de descrições:

Descrições do Banco de Dados

Comentários definidos diretamente no banco via COMMENT ON:

COMMENT ON TABLE customers IS 'Cadastro de clientes ativos';
COMMENT ON COLUMN customers.email IS 'Email principal de contato';

Essas descrições são importadas automaticamente durante a sincronização.

Descrições Manuais

Descrições adicionadas pela sua equipe através do Console:

• Complementam ou substituem descrições do banco
• Ficam vinculadas à conexão no Console
• Não alteram o banco de dados original
• Podem ser editadas a qualquer momento

Enriquecimento com IA

O ComDado pode sugerir descrições automaticamente baseado em:

• Nome da coluna e tabela
• Tipo de dado
• Padrões comuns do setor
• Contexto das outras colunas

Revise as Sugestões

Sempre revise as descrições sugeridas pela IA antes de aplicá-las. Elas são baseadas em padrões e podem não refletir o uso específico na sua organização.

Relacionamentos

Chaves Estrangeiras

O Data Catalog importa automaticamente as FKs definidas no banco:

• Mostra tabela e coluna de origem
• Mostra tabela e coluna de destino
• Indica cardinalidade (1:N, N:M)

Relacionamentos Inferidos

Para bancos sem FKs explícitas, o sistema pode inferir relacionamentos por convenção:

• Colunas *_id são mapeadas para tabelas correspondentes
• Exemplo: customer_id → tabela customers
• Relacionamentos inferidos são marcados como "sugeridos"

Diagrama ERD

Visualize os relacionamentos graficamente:

1. Na página da conexão, clique em ERD
2. O diagrama mostra todas as tabelas e seus relacionamentos
3. Use zoom e pan para navegar
4. Clique em uma tabela para destacar seus relacionamentos
5. Filtre por schema para focar em áreas específicas

Veja Também: Conhecimento de Dominio

Quando você já sabe onde o dado está, o próximo passo costuma ser definir o significado de negócio desse ativo. Use Conhecimento de Dominio para registrar conceitos, formalizar métricas, modelar ontologia e revisar sugestões de IA antes de reutilizar esse contexto em dashboards e chats.

Samples de Dados

O Data Catalog pode exibir amostras de dados para facilitar a compreensão:

• Limite: Até 10 linhas por tabela
• Visibilidade: Respeita as configurações de visibilidade
• Atualização: Dados são buscados sob demanda, não armazenados

Dados Sensíveis

Colunas configuradas como restritas ou pseudonimizadas aparecem mascaradas nos samples, mesmo para administradores.

Visibilidade de Dados

Controle quais dados da sua organização podem ser visualizados em queries, visualizações e dashboards. A configuração de visibilidade é aplicada automaticamente em todas as consultas, garantindo que dados sensíveis nunca sejam expostos acidentalmente.

Por que Usar?

• Proteção de PII: Oculte dados pessoais como emails, CPF e telefone
• Compliance: Atenda requisitos de LGPD, GDPR e HIPAA
• Segurança: Evite exposição acidental de dados sensíveis
• Análises Seguras: Permita análises sem expor dados brutos

Níveis de Visibilidade

Visibilidade de Tabela

Nível	Descrição
Público	A tabela pode ser consultada. Visibilidade individual das colunas é respeitada.
Restrito	Todas as colunas da tabela são ocultadas, independente da configuração individual.

Visibilidade de Coluna

Nível	O que aparece na query
Público	Valor original do dado
Restrito	[RESTRICTED]
Pseudonimizado	Hash SHA-256 do valor (permite JOINs anônimos)

Como os Dados Aparecem

Coluna Pública:

│ email                       │
├─────────────────────────────┤
│ joao@empresa.com            │
│ maria@empresa.com           │

Coluna Restrita:

│ email                       │
├─────────────────────────────┤
│ [RESTRICTED]                │
│ [RESTRICTED]                │

Coluna Pseudonimizada:

│ email                                                           │
├─────────────────────────────────────────────────────────────────┤
│ a1b2c3d4e5f6789012345678901234567890abcdef1234567890abcdef12345 │
│ b2c3d4e5f6789012345678901234567890abcdef1234567890abcdef123456  │

Pseudonimização e JOINs

O hash é determinístico: o mesmo valor sempre gera o mesmo hash. Isso permite fazer JOINs entre tabelas usando colunas pseudonimizadas sem revelar os dados originais.

Configurando Visibilidade

Por Coluna

1. Acesse o Data Catalog da conexão
2. Navegue até a tabela desejada
3. Clique na coluna que deseja configurar
4. Em Visibilidade, selecione o nível desejado
5. Clique em Salvar

Por Tabela

1. Acesse o Data Catalog da conexão
2. Clique na tabela desejada
3. No painel de detalhes, localize Visibilidade da Tabela
4. Selecione Público ou Restrito
5. Clique em Salvar

Prioridade

A visibilidade da tabela tem prioridade sobre a das colunas. Se uma tabela está restrita, todas as suas colunas também estarão.

Validação de Visibilidade

Colunas podem ter dois estados de validação:

Estado	Ícone	Descrição
Não validada	Cinza	Configuração padrão ou sugerida por IA
Validada	Verde	Configuração revisada e confirmada por um usuário

Recomendação

Revise e valide a visibilidade de todas as colunas sensíveis após conectar um novo banco de dados.

Sugestões de IA para Visibilidade

O ComDado pode sugerir automaticamente a visibilidade apropriada baseado em:

• Nome da coluna: email, cpf, password, ssn, etc.
• Tipo de dado: Campos de texto longo podem conter PII
• Padrões do setor: Convenções comuns para dados sensíveis

Para aplicar sugestões:

1. No Data Catalog, procure colunas com ícone de sugestão (lâmpada)
2. Clique na coluna para ver a sugestão
3. Revise a recomendação
4. Clique em Aplicar Sugestão ou ajuste manualmente

Casos de Uso de Visibilidade

Dados Pessoais (PII)

Coluna	Recomendação	Justificativa
Email	Pseudonimizado	Permite análises de cohort sem expor identidade
CPF/CNPJ	Restrito	Identificador único, não deve ser exposto
Telefone	Restrito	Dado pessoal sensível
Nome completo	Restrito ou Pseudonimizado	Depende da necessidade de análise

Dados Financeiros

Coluna	Recomendação	Justificativa
Número do cartão	Restrito	Nunca deve ser exposto
CVV	Restrito	Nunca deve ser armazenado visível
Saldo	Restrito	Dado financeiro sensível

Dados de Saúde (HIPAA)

Coluna	Recomendação	Justificativa
ID do paciente	Pseudonimizado	Permite análises sem identificar
Diagnóstico	Restrito	Informação médica protegida
Medicamentos	Restrito	Informação médica protegida

Aplicação Automática

A visibilidade é aplicada automaticamente em:

• Queries SQL: Resultados respeitam a visibilidade configurada
• Visualizações e Dashboards: Gráficos e filtros não expõem valores restritos
• AI Analytics: O assistente de IA não acessa valores restritos
• Exports: Todas as exportações aplicam as mesmas regras

Auditoria de Visibilidade

Todas as alterações de visibilidade são registradas:

• Quem alterou
• Quando alterou
• Valor anterior
• Novo valor

Para gerar relatórios de compliance, acesse Data Catalog → Exportar Relatório → Relatório de Visibilidade.

Como Usar

Acessando o Data Catalog

1. No menu lateral, clique em Conexões
2. Selecione a conexão desejada
3. Clique em Data Catalog

Navegando pela Estrutura

1. Use a árvore lateral para navegar por schemas
2. Expanda um schema para ver suas tabelas
3. Clique em uma tabela para ver suas colunas
4. Use a busca para encontrar tabelas ou colunas específicas

Adicionando Descrições

1. Navegue até a tabela ou coluna desejada
2. No painel de detalhes, clique em Editar descrição
3. Digite a descrição
4. Clique em Salvar

Sincronizando Metadados

O sync de metadados é automático ao configurar uma conexão. Para atualizar manualmente:

1. Acesse a página da conexão
2. Clique em Configurações
3. Clique em Sincronizar Metadados

Sincronização Incremental

A sincronização detecta apenas mudanças desde a última execução, tornando o processo rápido mesmo para bancos grandes.

Boas Práticas

Documentação

• Adicione descrições para todas as tabelas principais
• Documente colunas com nomes técnicos ou abreviados
• Use a IA como ponto de partida, depois refine manualmente

Visibilidade

• ✅ Configure visibilidade antes de liberar acesso aos dados
• ✅ Use pseudonimização para colunas usadas em JOINs
• ✅ Revise a visibilidade após cada sincronização
• ✅ Valide todas as colunas sensíveis antes de liberar acesso
• ❌ Não deixe colunas sensíveis como públicas
• ❌ Não ignore colunas em tabelas de staging/temp
• ❌ Não aplique sugestões de IA sem revisão

Manutenção

• Sincronize metadados após alterações no schema
• Revise relacionamentos inferidos periodicamente
• Mantenha as descrições atualizadas com mudanças de negócio

Recursos Adicionais

• Segurança - Práticas de segurança e compliance