Soluções de governança de dados de nível financeiro: criação de um sistema de controle de qualidade e sangue de dados de nível empresarial

Introdução (análise do ponto problemático)

Caros CTOs, diretores de dados e arquitetos de empresas financeiras, na onda da transformação digital, vocês estão profundamente preocupados com as seguintes questões?

O buraco negro da linha de sangue de dados.Quando os requisitos regulamentares rastreiam a origem dos dados em um determinado relatório, leva-se dias para classificar manualmente os dados, e é impossível responder de forma rápida e clara à pergunta "de onde vieram os dados e o que foi feito com eles".
A qualidade dos dados é preocupante.Os principais indicadores de negócios têm dados inconsistentes em diferentes sistemas, e dados sujos e duplicados afetam seriamente a precisão das decisões de controle de risco e dos relatórios de negócios, mas faltam ferramentas eficazes de monitoramento e auditoria.
Os dados confidenciais estão fora de controle.Informações confidenciais, como números de identificação de clientes e números de cartões bancários, estão espalhadas por toda parte e não se sabe quem as está acessando e como elas estão fluindo, o que as expõe a enormes riscos de conformidade e de vazamento.
As pressões de conformidade são enormes.O cumprimento dos requisitos normativos, como a Lei de Segurança de Dados e as Diretrizes de Classificação de Segurança de Dados Financeiros do Banco da China, exige o investimento de uma grande quantidade de mão de obra na classificação e classificação de dados e nas auditorias de segurança, o que é caro e ineficiente.

Se você estiver procurando uma solução para criar um sistema de governança de dados que atenda aos requisitos regulamentares financeiros, a solução de governança de dados de nível financeiro da Aliyun, baseada no DataWorks e no Data Security Centre (DSC), fornecerá um caminho claro e eficiente.

Diagrama e visão geral da arquitetura da solução

A figura a seguir mostra a arquitetura geral e a relação de fluxo de dados da governança de dados criada com base no AliCloud DataWorks e no DSC:

Soluções de governança de dados de nível financeiro: criação de um sistema de controle de qualidade e sangue de dados de nível empresarial - LikaCloud

As principais ideias de design desse programa são"Governança como processo, segurança como algo incorporado"O fluxo de trabalho é o seguinte:

1.Acesso e desenvolvimento de dados.aprovar (um projeto de lei ou inspeção etc.)DataWorksO módulo Data Integration sincroniza fontes de dados dispersas (RDS, MaxCompute, OSS etc.) com o Data Warehouse e conclui a configuração e o agendamento de tarefas de processamento de dados por meio de uma interface de desenvolvimento visual.
2.Descoberta automática de sangue.O DataWorks analisa automaticamente as tarefas de processamento de dados (SQL, ETL etc.) e gera dados desde a fonte de dados até o relatório final.Mapeamento de linhagem de dados de ponta a pontae apresentados no mapa de dados.
3.Identificação e classificação de dados confidenciais. Centro de Segurança de Dados (DSC)Com modelos incorporados do setor financeiro e algoritmos de aprendizado de máquina, os dados confidenciais (por exemplo, informações de identificação pessoal do cliente, informações sobre transações etc.) são automaticamente examinados, descobertos e classificados e marcados com hierarquias de classificação.
4.Auditoria e monitoramento da qualidade.Configure regras de monitoramento da qualidade dos dados no DataWorks para verificar a pontualidade, a integridade e a precisão das principais tabelas de dados e alertar e bloquear automaticamente as tarefas downstream quando ocorrerem problemas para garantir a qualidade da saída de dados.
5.Gerenciamento unificado de ativos e controles de segurança.Todos os metadados, linhas de sangue, pontuações de qualidade e rótulos de segurança são agregados em um catálogo unificado de ativos de dados corporativos. Políticas unificadas de segurança de dados (por exemplo, dessensibilização, controle de acesso) são formuladas e aplicadas com base nos resultados da identificação de riscos e nos registros de auditoria do DSC.

A proposta de valor da arquitetura é.Ele transforma os principais elos da governança de dados (metadados, qualidade dos dados, segurança dos dados) do modo tradicional manual, passivo e isolado para um sistema automatizado, ativo e colaborativo que abre toda a cadeia, de modo que os dados possam realmente se tornar um ativo estratégico confiável, controlável e utilizável.

Produtos e componentes principais

nome do componente	desempenhar um papel	Principais recomendações de configuração/seleção	Por que escolher
Plataforma de governança de desenvolvimento de Big Data DataWorks	Plataforma principal para desenvolvimento e governança de dados. Fornece funções completas, como integração de dados, desenvolvimento de dados, qualidade de dados, mapeamento de dados, serviços de dados, etc., e é a principal plataforma de host para processos de governança de dados.	-Seleção de versão.As empresas financeiras são aconselhadas a escolher a Enterprise Edition para atender a requisitos mais altos de desempenho e segurança. -Qualidade dos dados.Configure regras de integridade, exclusividade e precisão e defina limites de bloqueio para tabelas e métricas comerciais essenciais. -Mapas de dados.Habilite a resolução automática de linhas de sangue e mantenha regularmente as descrições de ativos e as informações do proprietário.	Ele integra perfeitamente a produção de dados e os processos de governança de dados, evitando o problema de "duas peles" de governança e desenvolvimento. Seu recurso de descoberta automática de linhagem sanguínea excede em muito o das ferramentas de código aberto, reduzindo consideravelmente os custos de operação e manutenção.
Centro de Segurança de Dados (DSC)	Mecanismo principal de governança de segurança de dados.. Responsável pela descoberta, classificação e gradação automatizadas de dados confidenciais, detecção de riscos, auditoria e dessensibilização, é a pedra angular técnica da governança de segurança de dados.	-Alcance da varredura.Configure tarefas de varredura periódica para data warehouses principais (por exemplo, MaxCompute) e bancos de dados (RDS). -Identifique o modelo.Escolha e personalize modelos do setor financeiro para identificar com precisão informações confidenciais, como carteiras de identidade, cartões bancários e números de telefone. -Modelagem de riscos.Habilite modelos de detecção de riscos para acesso anormal, operações de alta frequência, etc.	Ele usa a tecnologia de aprendizado de máquina para resolver o problema de "não conseguir encontrar" informações confidenciais em dados massivos. Ele é profundamente integrado ao DataWorks, ao MaxCompute e a outros produtos para obter uma política de segurança unificada.
Serviços de computação de Big Data nativos da nuvem MaxCompute	Mecanismo de computação de Big Data.. Como um data warehouse de nível empresarial, que armazena e computa dados de volume total, ele é o principal objeto e veículo para a governança de dados.	-Planejamento de recursos.Adquira CUs pré-pagas ou use o faturamento pré-pago com base no volume de dados e nas expectativas de desenvolvimento. -Ciclo de vida dos dados.Desenvolva uma estratégia razoável para o armazenamento de dados em camadas e o gerenciamento do ciclo de vida para otimizar os custos.	Fornecendo armazenamento de classe EB e potência de computação de alto desempenho, totalmente gerenciado, estável e confiável, ele é a pedra angular da construção de um armazém digital corporativo. A integração perfeita com o DataWorks é inerente.
Plataforma de serviços de computação de privacidade de formigas	Plataforma de computação aprimorada para privacidade(Opcional). Fornece recursos de computação de fusão de dados seguros e confiáveis em cenários em que a colaboração de dados é necessária, mas não se espera que os dados originais estejam fora do domínio.	-Cenários de uso.Ele é adequado para cenários de negócios que exigem colaboração de dados com organizações externas, como marketing conjunto e controle de risco conjunto.	O desbloqueio do valor dos dados sob a premissa de atender aos requisitos de segurança e conformidade dos dados e de realizar a "disponibilidade e invisibilidade dos dados" é uma forma avançada de governança de dados.

Resumo dos benefícios do programa

? Link completo da linha de sangue.A análise automatizada gera um mapeamento de linhagem de dados em nível de campo, apoiando a análise de impacto e o rastreamento da causa raiz, tornando a linhagem de dados clara em um relance.
Auditorias proativas de qualidade de dados.Fornecer monitoramento de regras sólidas e alerta antecipado inteligente, mudando a correção após o fato para a prevenção antes do fato e garantindo dados precisos e confiáveis.
? ️ Proteção inteligente de dados confidenciais.A descoberta, a classificação e a classificação automáticas baseadas em ML de dados confidenciais, combinadas com políticas precisas de controle de acesso e dessensibilização, atendem aos requisitos de conformidade financeira.
? Harmonizar as percepções do valor dos ativos.Crie um catálogo unificado de ativos de dados corporativos, agregando metadados, pontuações de qualidade, rótulos de segurança, hotness e outras informações, para que os ativos de dados possam ser vistos rapidamente.
⚙️ Automação dos processos de governança.Incorporar as especificações de governança (por exemplo, regras de qualidade, políticas de segurança) no processo de desenvolvimento para obter a "esquerda de governança", melhorar a eficiência e reduzir os custos humanos.

Cenários de aplicativos e clientes aplicáveis

Essa solução é ideal para os seguintes cenários de negócios e clientes:

Cenários de aplicativos.
- Atender à conformidade regulatória.Atenda aos requisitos de auditoria dos órgãos reguladores do setor financeiro em relação à segurança, qualidade e integridade dos dados.
- Melhoria da qualidade dos dados.Resolva os problemas de dados inconsistentes, imprecisos e inoportunos que atormentam a empresa há muito tempo e aumente a eficiência da tomada de decisões.
- Construção de segurança de dados.Criar um sistema de proteção de segurança de dados corporativos para evitar o vazamento de dados confidenciais e proteger a privacidade do cliente.
- Ativo de dados.Classifique e revitalize os ativos de dados corporativos para melhorar a eficiência da localização, compreensão e uso dos dados.
Clientes aplicáveis.
- Instituições financeiras, como bancos, títulos e seguros.Setor fortemente regulamentado com uma necessidade rígida de governança de dados.
- Grandes grupos empresariais.A complexidade dos negócios, a multiplicidade de sistemas e a confusão de dados exigem urgentemente uma governança unificada.
- Empresas de Internet sensíveis a dados.Por exemplo, o comércio eletrônico e as plataformas sociais, que possuem uma grande quantidade de dados de usuários, precisam ser rigorosamente controlados.