Data Catalog

El Data Catalog te permite explorar y gestionar la estructura de tus bases de datos conectadas. Con él, puedes visualizar schemas, tablas, columnas, relaciones y enriquecer metadatos para mejorar la comprensión de tus datos.

Funcionalidades

📊 Exploración de Estructura

Navega por schemas, tablas y columnas

📝 Metadatos

Descripciones del banco y manuales

🔗 Relaciones

FKs, inferidas y diagrama ERD

🔒 Visibilidad

Control de acceso por columna

Exploración de Estructura

El Data Catalog muestra la estructura completa de tu base de datos:

Schemas y Tablas

• Lista todos los schemas disponibles en la conexión
• Para cada schema, muestra las tablas contenidas
• Muestra conteo de columnas por tabla
• Indica tablas con claves primarias e índices

Columnas

Para cada tabla, puedes ver:

Información	Descripción
Nombre	Nombre de la columna
Tipo	Tipo de dato (VARCHAR, INTEGER, etc.)
Nullable	Si acepta valores nulos
PK	Si forma parte de la clave primaria
FK	Si es clave foránea
Default	Valor por defecto, si existe

Metadatos

El Data Catalog soporta dos tipos de descripciones:

Descripciones de la Base de Datos

Comentarios definidos directamente en la base de datos vía COMMENT ON:

COMMENT ON TABLE customers IS 'Registro de clientes activos';
COMMENT ON COLUMN customers.email IS 'Email principal de contacto';

Estas descripciones se importan automáticamente durante la sincronización.

Descripciones Manuales

Descripciones agregadas por tu equipo a través de la Console:

• Complementan o sustituyen descripciones del banco
• Quedan vinculadas a la conexión en Console
• No alteran la base de datos original
• Pueden ser editadas en cualquier momento

Enriquecimiento con IA

Solução42 puede sugerir descripciones automáticamente basándose en:

• Nombre de la columna y tabla
• Tipo de dato
• Patrones comunes del sector
• Contexto de las otras columnas

Revisa las Sugerencias

Siempre revisa las descripciones sugeridas por la IA antes de aplicarlas. Están basadas en patrones y pueden no reflejar el uso específico en tu organización.

Relaciones

Claves Foráneas

El Data Catalog importa automáticamente las FKs definidas en el banco:

• Muestra tabla y columna de origen
• Muestra tabla y columna de destino
• Indica cardinalidad (1:N, N:M)

Relaciones Inferidas

Para bancos sin FKs explícitas, el sistema puede inferir relaciones por convención:

• Columnas *_id se mapean a tablas correspondientes
• Ejemplo: customer_id → tabla customers
• Relaciones inferidas se marcan como "sugeridas"

Diagrama ERD

Visualiza las relaciones gráficamente:

1. En la página de la conexión, haz clic en ERD
2. El diagrama muestra todas las tablas y sus relaciones
3. Usa zoom y pan para navegar
4. Haz clic en una tabla para destacar sus relaciones
5. Filtra por schema para enfocarte en áreas específicas

Muestras de Datos

El Data Catalog puede mostrar muestras de datos para facilitar la comprensión:

• Límite: Hasta 10 filas por tabla
• Visibilidad: Respeta las configuraciones de visibilidad
• Actualización: Los datos se obtienen bajo demanda, no se almacenan

Datos Sensibles

Las columnas configuradas como restringidas o pseudonimizadas aparecen enmascaradas en las muestras, incluso para administradores.

Visibilidad de Datos

Controla qué datos de tu organización pueden ser visualizados en queries, visualizaciones y dashboards. La configuración de visibilidad se aplica automáticamente en todas las consultas, garantizando que datos sensibles nunca sean expuestos accidentalmente.

¿Por qué Usarla?

• Protección de PII: Oculta datos personales como emails, DNI y teléfono
• Compliance: Cumple requisitos de LGPD, GDPR e HIPAA
• Seguridad: Evita exposición accidental de datos sensibles
• Análisis Seguros: Permite análisis sin exponer datos brutos

Niveles de Visibilidad

Visibilidad de Tabla

Nivel	Descripción
Público	La tabla puede ser consultada. Se respeta la visibilidad individual de las columnas.
Restringido	Todas las columnas de la tabla están ocultas, independiente de la configuración individual.

Visibilidad de Columna

Nivel	Lo que aparece en la query
Público	Valor original del dato
Restringido	[RESTRICTED]
Pseudonimizado	Hash SHA-256 del valor (permite JOINs anónimos)

Cómo Aparecen los Datos

Columna Pública:

│ email                       │
├─────────────────────────────┤
│ [email protected]            │
│ [email protected]           │

Columna Restringida:

│ email                       │
├─────────────────────────────┤
│ [RESTRICTED]                │
│ [RESTRICTED]                │

Columna Pseudonimizada:

│ email                                                           │
├─────────────────────────────────────────────────────────────────┤
│ a1b2c3d4e5f6789012345678901234567890abcdef1234567890abcdef12345 │
│ b2c3d4e5f6789012345678901234567890abcdef1234567890abcdef123456  │

Pseudonimización y JOINs

El hash es determinístico: el mismo valor siempre genera el mismo hash. Esto permite hacer JOINs entre tablas usando columnas pseudonimizadas sin revelar los datos originales.

Configurando Visibilidad

Por Columna

1. Accede al Data Catalog de la conexión
2. Navega hasta la tabla deseada
3. Haz clic en la columna que deseas configurar
4. En Visibilidad, selecciona el nivel deseado
5. Haz clic en Guardar

Por Tabla

1. Accede al Data Catalog de la conexión
2. Haz clic en la tabla deseada
3. En el panel de detalles, localiza Visibilidad de Tabla
4. Selecciona Público o Restringido
5. Haz clic en Guardar

Prioridad

La visibilidad de la tabla tiene prioridad sobre la de las columnas. Si una tabla está restringida, todas sus columnas también lo estarán.

Validación de Visibilidad

Las columnas pueden tener dos estados de validación:

Estado	Icono	Descripción
No validada	Gris	Configuración por defecto o sugerida por IA
Validada	Verde	Configuración revisada y confirmada por un usuario

Recomendación

Revisa y valida la visibilidad de todas las columnas sensibles después de conectar una nueva base de datos.

Sugerencias de IA para Visibilidad

Solução42 puede sugerir automáticamente la visibilidad apropiada basándose en:

• Nombre de la columna: email, cpf, password, ssn, etc.
• Tipo de dato: Campos de texto largo pueden contener PII
• Patrones del sector: Convenciones comunes para datos sensibles

Para aplicar sugerencias:

1. En el Data Catalog, busca columnas con icono de sugerencia (bombilla)
2. Haz clic en la columna para ver la sugerencia
3. Revisa la recomendación
4. Haz clic en Aplicar Sugerencia o ajusta manualmente

Casos de Uso de Visibilidad

Datos Personales (PII)

Columna	Recomendación	Justificación
Email	Pseudonimizado	Permite análisis de cohorte sin exponer identidad
DNI/RFC	Restringido	Identificador único, no debe ser expuesto
Teléfono	Restringido	Dato personal sensible
Nombre completo	Restringido o Pseudonimizado	Depende de la necesidad de análisis

Datos Financieros

Columna	Recomendación	Justificación
Número de tarjeta	Restringido	Nunca debe ser expuesto
CVV	Restringido	Nunca debe ser almacenado visible
Saldo	Restringido	Dato financiero sensible

Datos de Salud (HIPAA)

Columna	Recomendación	Justificación
ID del paciente	Pseudonimizado	Permite análisis sin identificar
Diagnóstico	Restringido	Información médica protegida
Medicamentos	Restringido	Información médica protegida

Aplicación Automática

La visibilidad se aplica automáticamente en:

• Queries SQL: Los resultados respetan la visibilidad configurada
• Visualizaciones y Dashboards: Gráficos y filtros no exponen valores restringidos
• AI Analytics: El asistente de IA no accede a valores restringidos
• Exports: Todas las exportaciones aplican las mismas reglas

Auditoría de Visibilidad

Todos los cambios de visibilidad son registrados:

• Quién cambió
• Cuándo cambió
• Valor anterior
• Nuevo valor

Para generar informes de compliance, accede a Data Catalog → Exportar Informe → Informe de Visibilidad.

Cómo Usar

Accediendo al Data Catalog

1. En el menú lateral, haz clic en Conexiones
2. Selecciona la conexión deseada
3. Haz clic en Data Catalog

Navegando por la Estructura

1. Usa el árbol lateral para navegar por schemas
2. Expande un schema para ver sus tablas
3. Haz clic en una tabla para ver sus columnas
4. Usa la búsqueda para encontrar tablas o columnas específicas

Agregando Descripciones

1. Navega hasta la tabla o columna deseada
2. En el panel de detalles, haz clic en Editar descripción
3. Escribe la descripción
4. Haz clic en Guardar

Sincronizando Metadatos

La sincronización de metadatos es automática al configurar una conexión. Para actualizar manualmente:

1. Accede a la página de la conexión
2. Haz clic en Configuración
3. Haz clic en Sincronizar Metadatos

Sincronización Incremental

La sincronización detecta solo cambios desde la última ejecución, haciendo el proceso rápido incluso para bases de datos grandes.

Buenas Prácticas

Documentación

• Agrega descripciones para todas las tablas principales
• Documenta columnas con nombres técnicos o abreviados
• Usa la IA como punto de partida, luego refina manualmente

Visibilidad

• ✅ Configura visibilidad antes de liberar acceso a los datos
• ✅ Usa pseudonimización para columnas usadas en JOINs
• ✅ Revisa la visibilidad después de cada sincronización
• ✅ Valida todas las columnas sensibles antes de liberar acceso
• ❌ No dejes columnas sensibles como públicas
• ❌ No ignores columnas en tablas de staging/temp
• ❌ No apliques sugerencias de IA sin revisión

Mantenimiento

• Sincroniza metadatos después de cambios en el schema
• Revisa relaciones inferidas periódicamente
• Mantén las descripciones actualizadas con cambios de negocio

Recursos Adicionales

• Seguridad - Prácticas de seguridad y compliance