Solution d'analyse en temps réel des données à l'échelle de la planète : pratique architecturale basée sur l'entrepôt de données natif de Tencent Cloud

Introduction (analyse des points douloureux)

En tant qu'ingénieur ou architecte de données, êtes-vous confronté aux questions suivantes ?

Silos de données et difficultés de gouvernance.Les données métiers sont dispersées dans des dizaines de sources de données telles que MySQL, Kafka, fichiers de logs, CSV, etc. avec des formats différents, ce qui rend difficile l'unification de la gestion et la garantie de la qualité des données.
Les coûts sont hors de contrôle.Pour faire face aux pics cycliques de l'activité (par exemple, les grandes promotions, les événements), les plateformes traditionnelles de big data (par exemple, Hadoop auto-construit) doivent configurer les ressources matérielles en fonction de la demande de pointe, ce qui se traduit par des ressources inutilisées la plupart du temps et des coûts élevés.
Goulets d'étranglement des performances.Le processus ETL traditionnel est complexe et long, et il s'écoule souvent T+1 jours entre la saisie des données et la sortie du rapport, ce qui ne permet pas de répondre au besoin urgent de l'entreprise de disposer de données en temps réel, et la prise de décision est toujours un peu plus lente.
Architecture complexe et lourdes opérations de maintenance et d'entretien.Le maintien d'un fonctionnement stable d'un ensemble complet de clusters de big data (HDFS, Hive, Spark, Presto) nécessite un investissement important en personnel professionnel d'exploitation et de maintenance, un seuil technique élevé et des difficultés de dépannage.

Si vous êtes confronté aux problèmes susmentionnés, cet article vous fournira une solution complète basée sur Tencent Cloud Native Data Lake Warehouse pour réaliser une analyse en temps réel efficace, rentable et unifiée de pétaoctets de données.

Diagramme et aperçu de l'architecture de la solution

schéma d'architecture

Solution d'analyse en temps réel des données à l'échelle de la planète : pratique architecturale basée sur l'entrepôt de données natif de Tencent Cloud - LikaCloud

Vue d'ensemble.

Le cœur de ce programme est“Ségrégation des comptes”répondre en chantant“Gestion unifiée des métadonnées”. Toutes les données brutes sont déposées de manière uniforme dans le système d'information de gestion de l'entreprise, qui est très fiable et peu coûteux.Tencent Cloud Object Storage (COS)qui constitue la pierre angulaire du lac de données.Informatique des lacs de données (DLC)En tant que cerveau, il est responsable de la gestion unifiée des métadonnées, du contrôle des permissions et de la gouvernance des données, éliminant ainsi la nécessité de construire votre propre Hive Metastore.Elastic MapReduce (EMR)En tant que puissant moteur de calcul, les clusters sont tirés à la demande pour analyser directement les données dans COS via les frameworks de calcul standard Spark, Presto et autres, en libérant les ressources lorsque la tâche est terminée. Au final, les résultats de l'analyse peuvent être directement consommés par des outils de BI, des applications de données ou des plateformes d'IA.

Proposition de valeur.Cette solution résout parfaitement les points douloureux de l'introduction, réduit les coûts de stockage et de calcul grâce à la séparation stockage-calcul, brise les silos de données grâce à des métadonnées unifiées, réalise une analyse rapide grâce au moteur de calcul élastique Serverless, et réduit la complexité O&M à un minimum.

Produits et composants de base

Nom du composant. Tencent Cloud Object Storage (COS)
- Jouer le rôle.architecture intégréeCouche de stockage persistantLe système stocke toutes les données brutes, les données traitées et les résultats des calculs.
- Principales recommandations en matière de configuration et de sélection.Les données thermiques qui nécessitent des analyses fréquentes sont analysées à l'aide deStockage standardL'utilisation de données froides pour l'archivagestockage d'archivesLa stratégie de cycle de vie de l'entreprise est conçue pour maximiser les économies de coûts en passant automatiquement d'une stratégie de cycle de vie à l'autre.
- Pourquoi le choisir ?Il offre une capacité illimitée et une fiabilité des données de 99,99999999999%, ce qui en fait la base idéale pour la création de lacs de données. S'intègre de manière transparente et native au DME et au DLC pour une excellente optimisation des performances.
Nom du composant. Informatique des lacs de données (DLC)
- Jouer le rôle.structuré“Cerveau intelligentIl fournit une gestion unifiée des métadonnées, des droits sur les données et un contrôle d'accès, un catalogue de données SQL et des services de requêtes interactives sans serveur.
- Principales recommandations en matière de configuration et de sélection.Utilisez le mode Serverless directement sans ressources préconstruites. Interfacer facilement les données sur COS et définir des structures de tables grâce à sa fonctionnalité de catalogue de données.
- Pourquoi le choisir ?L'EMR, les outils de BI, etc. peuvent accéder à la vue unifiée des métadonnées par l'intermédiaire de DLC afin d'assurer une gestion cohérente des autorisations et des structures de table. Sa capacité Serverless Spark permet de soumettre des tâches Spark sans aucun sens, ce qui simplifie grandement l'exploitation et la maintenance.
Nom du composant. Elastic MapReduce (EMR)
- Jouer le rôle.noyauElastic Compute EngineIl s'agit d'un système de traitement de données à grande échelle (par exemple, ETL, requêtes interactives, apprentissage automatique).
- Principales recommandations en matière de configuration et de sélection.optionfacturation volumétriqueettélescopage élastique (c'est-à-dire flexible)Mode de mise à l'échelle automatique des nœuds de tâches en fonction de la charge de l'unité centrale et de la mémoire. Options de déploiement en colocation avec COS, DLC pour des performances optimales.
- Pourquoi le choisir ?Il fournit des capacités complètes de l'écosystème big data open source (Hadoop, Spark, Presto, Hbase, etc.) et est profondément intégré à Tencent Cloud dès sa sortie de l'emballage. Sa capacité d'élasticité garantit une utilisation efficace des ressources, en ne payant que pour la quantité réelle de calcul utilisée.

Résumé des avantages du programme

? Optimisation extrême des coûts.Séparation stockage-informatique, mise à l'échelle à la demande des ressources informatiques, par rapport aux grappes fixes traditionnelles auto-construites.Le coût global peut être réduit de plus de 50%。
⚡ Des analyses efficaces et des opérations agiles.Pas besoin de migration de données, l'EMR peut directement analyser les données COS à grande vitesse ; DLC gestion unifiée des métadonnées quiConstruction minute par minute de plateformes de big dataLa charge de travail O&M a diminué de 90%.
? Décloisonner les données.Une copie des données est stockée dans le COS et partagée et analysée par de multiples moteurs de calcul (DME, fonctions en nuage, etc.) grâce à une vue unifiée de la DLC, ce qui permet véritablement à la DLC de s'adapter à l'évolution de la situation.Inclusion des données。
? ️ Gouvernance de la sécurité au niveau de l'entreprise.Le DLC offre un contrôle des droits sur les données au niveau des colonnes et une intégration transparente avec la FAO.Journal d'auditComplète pour répondre aux exigences des entreprises en matière de sécurité des données et de conformité.

Scénarios d'application et clients concernés

Scénarios d'application typiques.
- Interrogation interactive instantanée.Les analystes de données utilisent Presto/Spark SQL pour effectuer des requêtes rapides sur des données historiques massives directement à travers DLC et obtenir des résultats instantanés.
- Analyse des journaux en temps réel.Les journaux d'entreprise sont écrits en temps réel sur COS/Kafka et analysés par EMR Streaming ou Spark Streaming pour un traitement en temps quasi réel afin de surveiller l'état de l'entreprise.
- Apprentissage automatique et exploration de données.Utiliser Spark de l'EMR sur le cluster k8s pour lire les données d'entraînement directement à partir de COS pour l'entraînement de modèles à grande échelle.
Caractéristiques des clients concernés.
- Le volume de données a atteintNiveau TB à PBet une croissance soutenue des entreprises traditionnelles et de l'internet.
- reçoivent dans une large mesureGoulets d'étranglement coûteux en matière d'évolutivité et de performance dans les entrepôts de données traditionnelsUne équipe en difficulté.
- souhaitIntégration de sources de données multiplesLes clients qui construisent une vue unifiée des données de leur entreprise.
- L'Équipe EspoirSe concentrer sur le développement des données commerciales plutôt que sur les opérations et la maintenance de l'infrastructure sous-jacente。