Solução de análise de dados em escala PB em tempo real: prática de arquitetura baseada no data lake warehouse nativo da Tencent Cloud

Introdução (análise do ponto problemático)

Como engenheiro ou arquiteto de dados, você está tendo dificuldades com as seguintes perguntas?

Silos de dados e dificuldades de governança.Os dados comerciais estão espalhados em dezenas de fontes de dados, como MySQL, Kafka, arquivos de registro, CSV etc., com diferentes formatos, o que dificulta a unificação do gerenciamento e a garantia da qualidade dos dados.
Os custos estão fora de controle.Para lidar com os picos cíclicos dos negócios (por exemplo, grandes promoções, eventos), as plataformas tradicionais de Big Data (por exemplo, Hadoop autoconstruído) precisam configurar os recursos de hardware de acordo com o pico de demanda, o que resulta em recursos ociosos na maior parte do tempo e em altos custos.
Gargalos de desempenho.O processo tradicional de ETL é complexo e demorado, e geralmente leva T+1 dias desde a entrada de dados até a saída do relatório, o que não pode atender à necessidade urgente da empresa de insights de dados em tempo real, e a tomada de decisões está sempre um passo atrás.
Arquitetura complexa e O&M pesado.A manutenção da operação estável de um conjunto completo de clusters de Big Data (HDFS, Hive, Spark, Presto) exige um grande investimento em mão de obra profissional de operação e manutenção, altos limites técnicos e dificuldades de solução de problemas.

Se você estiver enfrentando os problemas acima, este artigo fornecerá uma solução completa baseada no Tencent Cloud Native Data Lake Warehouse para obter uma análise eficiente, econômica e unificada em tempo real de petabytes de dados.

Diagrama e visão geral da arquitetura da solução

diagrama de arquitetura

Solução de análise de dados em escala PB em tempo real: prática de arquitetura baseada no data lake warehouse nativo da Tencent Cloud - LikaCloud

Visão geral.

O núcleo desse programa é“Segregação de contas”responder cantando“Gerenciamento unificado de metadados”. Todos os dados brutos são depositados de maneira uniforme no sistema altamente confiável e de baixo custoArmazenamento de objetos em nuvem da Tencent (COS)formando a pedra angular do lago de dados.Computação de lago de dados (DLC)Como cérebro, ele é responsável pelo gerenciamento unificado de metadados, controle de permissões e governança de dados, eliminando a necessidade de criar seu próprio Hive Metastore.Elastic MapReduce (EMR)Como um mecanismo de computação avançado, os clusters são acionados sob demanda para analisar diretamente os dados no COS por meio do Spark padrão, do Presto e de outras estruturas de computação, liberando recursos quando a tarefa é concluída. Por fim, os resultados da análise podem ser consumidos diretamente por ferramentas de BI, aplicativos de dados ou plataformas de IA.

Proposta de valor.Essa solução soluciona perfeitamente os pontos problemáticos da introdução, reduz os custos de armazenamento e computação por meio da separação entre armazenamento e computação, elimina os silos de dados por meio de metadados unificados, realiza análises rápidas por meio do mecanismo de computação sem servidor elástico e reduz a complexidade de O&M ao mínimo.

Produtos e componentes principais

Nome do componente. Armazenamento de objetos em nuvem da Tencent (COS)
- Desempenhando o papel.arquitetura integradaCamada de armazenamento persistenteEle armazena todos os dados brutos, dados processados e resultados de cálculos.
- Principais recomendações de configuração/seleção.Os dados térmicos que exigem análises frequentes são analisados usandoArmazenamento padrãoO uso de dados frios para arquivamentoarmazenamento de arquivosA estratégia de ciclo de vida da empresa foi projetada para maximizar a economia de custos, alternando automaticamente de uma estratégia de ciclo de vida para a seguinte.
- Por que escolher.Oferece capacidade ilimitada e confiabilidade de dados 99,99999999999%, o que o torna a base ideal para a criação de data lakes. Integra-se perfeitamente de forma nativa com EMR e DLC para uma excelente otimização de desempenho.
Nome do componente. Computação de lago de dados (DLC)
- Desempenhando o papel.estruturado“Cérebro inteligente”Ele fornece gerenciamento unificado de metadados, direitos de dados e controle de acesso, catálogo de dados SQL e serviços de consulta interativa sem servidor.
- Principais recomendações de configuração/seleção.Use o modo sem servidor diretamente, sem recursos pré-construídos. Faça interface facilmente com os dados no COS e defina estruturas de tabela por meio do recurso de catálogo de dados.
- Por que escolher.O EMR, as ferramentas de BI etc. podem acessar a visualização unificada de metadados por meio do DLC para obter um gerenciamento consistente de permissões e estruturas de tabelas. Seu recurso Serverless Spark permite o envio sem sentido de trabalhos Spark, simplificando bastante a operação e a manutenção.
Nome do componente. Elastic MapReduce (EMR)
- Desempenhando o papel.núcleoMecanismo de computação elásticaresponsável pela execução de tarefas de processamento de dados em grande escala (por exemplo, ETL, consultas interativas, aprendizado de máquina).
- Principais recomendações de configuração/seleção.opçãofaturamento volumétricoetelescópica elástica (ou seja, flexível)Modo, aumentando e diminuindo automaticamente os nós da tarefa com base na carga de CPU/memória. Opções para implementação co-localizada com COS, DLC para desempenho ideal.
- Por que escolher.Ele oferece recursos de pilha completa do ecossistema de big data de código aberto (Hadoop, Spark, Presto, Hbase, etc.) e é profundamente integrado à Tencent Cloud desde o início. Seu recurso de elasticidade garante o uso eficiente dos recursos, pagando apenas pela quantidade de computação realmente usada.

Resumo dos benefícios do programa

? Otimização extrema de custos.Separação entre armazenamento e computação, escalonamento sob demanda dos recursos de computação, em comparação com os clusters fixos tradicionais de construção própria.O custo total pode ser reduzido em mais de 50%。
Análise eficiente e operações ágeis.Sem necessidade de migração de dados, o EMR pode analisar diretamente os dados COS em alta velocidade; gerenciamento unificado de metadados DLC queCriação minuto a minuto de plataformas de big dataA carga de trabalho de O&M caiu em 90%.
? Eliminar os silos de dados.Uma cópia dos dados é armazenada no COS e compartilhada e analisada por vários mecanismos computacionais (EMR, funções de nuvem, etc.) por meio de uma visão unificada do DLC, possibilitando realmente aInclusão de dados。
? ️ Governança de segurança em nível empresarial.O DLC oferece controle de direitos de dados em nível de coluna e integração perfeita com o CAM.Registro de auditoriaCompleta para atender aos requisitos de segurança e conformidade dos dados corporativos.

Cenários de aplicativos e clientes aplicáveis

Cenários típicos de aplicativos.
- Consulta instantânea interativa.Os analistas de dados usam o Presto/Spark SQL para realizar consultas rápidas em dados históricos maciços diretamente por meio do DLC e obter resultados instantâneos.
- Análise de registros em tempo real.Os logs de negócios são gravados no COS/Kafka em tempo real e analisados pelo EMR Streaming ou Spark Streaming para processamento quase em tempo real para monitorar o status dos negócios.
- Aprendizado de máquina e mineração de dados.Use o Spark do EMR no cluster k8s para ler os dados de treinamento diretamente do COS para treinamento de modelos em grande escala.
Características aplicáveis do cliente.
- O volume de dados atingiuNível de TB para PBe o crescimento contínuo de empresas tradicionais e de internet.
- recebem em grande parteDimensionamento caro e gargalos de desempenho em data warehouses tradicionaisEquipe com problemas.
- desejoIntegração de várias fontes de dadosClientes que estão criando uma visão unificada dos dados de suas empresas.
- Equipe HopeFoco no desenvolvimento de dados comerciais em vez de operações e manutenção da infraestrutura subjacente。