Solutions de gouvernance des données de niveau financier : mise en place d'un système de contrôle de la qualité et du sang des données au niveau de l'entreprise

Introduction (analyse des points douloureux)

Chers directeurs techniques, directeurs des données et architectes d'entreprises financières, dans la vague de la transformation numérique, êtes-vous profondément troublés par les questions suivantes ?

Le trou noir de la ligne de sang des données.Lorsque les exigences réglementaires permettent de retracer la source des données d'un rapport particulier, il faut des jours pour trier manuellement les données, et il est impossible de répondre rapidement et clairement à la question "d'où viennent les données et ce qui en a été fait".
La qualité des données est préoccupante.Les indicateurs clés de l'entreprise ont des données incohérentes dans différents systèmes, et les données sales et les données en double affectent sérieusement la précision des décisions de contrôle des risques et des rapports d'activité, mais il n'y a pas d'outils de contrôle et d'audit efficaces.
Les données sensibles échappent à tout contrôle.Les informations sensibles telles que les numéros d'identification des clients et les numéros de cartes bancaires sont disséminées un peu partout, sans que l'on sache qui y accède et comment elles circulent, ce qui les expose à d'énormes risques de non-conformité et de fuite.
Les pressions en matière de conformité sont énormes.Le respect des exigences réglementaires, telles que la loi sur la sécurité des données et les directives de classification de la sécurité des données financières de la Banque de Chine, nécessite d'investir une grande quantité de main-d'œuvre dans la classification et le classement des données et dans les audits de sécurité, ce qui est coûteux et inefficace.

Si vous êtes à la recherche d'une solution pour construire un système de gouvernance des données qui réponde aux exigences de la réglementation financière, la solution de gouvernance des données de niveau financier d'Aliyun, basée sur DataWorks et Data Security Centre (DSC), vous fournira une voie claire et efficace.

Diagramme et aperçu de l'architecture de la solution

La figure suivante montre l'architecture globale et la relation entre les flux de données de la gouvernance des données basée sur AliCloud DataWorks et DSC :

Solutions de gouvernance des données de niveau financier : mise en place d'un système de contrôle de la qualité et du sang des données au niveau de l'entreprise - LikaCloud

Les principales idées de conception de ce programme sont les suivantes"La gouvernance en tant que processus, la sécurité en tant qu'élément intégréLe processus est le suivant :

1.Accès aux données et développement.faire passer (un projet de loi, une inspection, etc.)DataWorksLe module d'intégration des données synchronise les sources de données dispersées (RDS, MaxCompute, OSS, etc.) avec l'entrepôt de données et complète la configuration et la planification des tâches de traitement des données par le biais d'une interface de développement visuelle.
2.Découverte automatique du sang.DataWorks analyse automatiquement les tâches de traitement des données (SQL, ETL, etc.) et génère des données depuis la source de données jusqu'au rapport final.Cartographie des données de bout en boutet présentées dans la carte des données.
3.Identification et classification des données sensibles. Centre de sécurité des données (CSD)Grâce à des modèles intégrés pour le secteur financier et à des algorithmes d'apprentissage automatique, les données sensibles (par exemple, les informations confidentielles des clients, les informations sur les transactions, etc.) sont automatiquement analysées, découvertes et classées, et étiquetées avec des hiérarchies de classification.
4.Audit et suivi de la qualité.Configurez des règles de contrôle de la qualité des données dans DataWorks pour vérifier l'actualité, l'exhaustivité et l'exactitude des tables de données clés, et pour alerter et bloquer automatiquement les tâches en aval en cas de problème afin de garantir la qualité des données produites.
5.Gestion unifiée des actifs et contrôles de sécurité.Toutes les métadonnées, lignes de sang, scores de qualité et labels de sécurité sont regroupés dans un catalogue unifié des actifs de données de l'entreprise. Des politiques unifiées de sécurité des données (par exemple, désensibilisation, contrôle d'accès) sont formulées et appliquées sur la base des résultats de l'identification des risques et des journaux d'audit du DSC.

La proposition de valeur de l'architecture est la suivante.Il transforme les maillons essentiels de la gouvernance des données (métadonnées, qualité des données, sécurité des données) du mode traditionnel manuel, passif et isolé en un système automatisé, proactif et collaboratif qui ouvre l'ensemble de la chaîne, de sorte que les données puissent réellement devenir un actif stratégique crédible, contrôlable et utilisable.

Produits et composants de base

nom du composant	jouer un rôle	Principales recommandations en matière de configuration/sélection	Pourquoi le choisir ?
Plateforme de gouvernance pour le développement du Big Data DataWorks	Plateforme centrale pour le développement et la gouvernance des données. Il fournit des fonctions de guichet unique telles que l'intégration des données, le développement des données, la qualité des données, la cartographie des données, les services de données, etc. et constitue la principale plateforme d'accueil pour les processus de gouvernance des données.	-Sélection de la version.Il est conseillé aux sociétés financières de choisir l'édition Enterprise pour répondre à des exigences plus élevées en matière de performances et de sécurité. -Qualité des données.Configurer des règles d'intégrité, d'unicité et d'exactitude et définir des seuils de blocage pour les métriques et les tables essentielles de l'entreprise. -Cartes de données.Activez la résolution automatique de la lignée sanguine et tenez régulièrement à jour les descriptions des biens et les informations sur les propriétaires.	Il intègre de manière transparente les processus de production et de gouvernance des données, évitant ainsi le problème des "deux peaux" de la gouvernance et du développement. Sa capacité de découverte automatique des lignées sanguines dépasse de loin celle des outils open source, ce qui réduit considérablement les coûts d'exploitation et de maintenance.
Centre de sécurité des données (CSD)	Moteur de base de la gouvernance de la sécurité des données.. Responsable de la découverte, de la classification et du classement automatisés des données sensibles, de la détection des risques, de l'audit et de la désensibilisation, il est la pierre angulaire technique de la gouvernance de la sécurité des données.	-Plage de balayage.Configurer des tâches d'analyse périodique pour les entrepôts de données de base (par exemple MaxCompute), les bases de données (RDS). -Identifier le modèle.Choisissez et personnalisez des modèles pour le secteur financier afin d'identifier avec précision les informations sensibles telles que les cartes d'identité, les cartes bancaires et les numéros de téléphone. -Modélisation des risques.Mettre en place des modèles de détection des risques pour les accès anormaux, les opérations à haute fréquence, etc.	Il utilise la technologie de l'apprentissage automatique pour résoudre le problème de "l'impossibilité de trouver" des informations sensibles dans des données massives. Il est profondément intégré à DataWorks, MaxCompute et d'autres produits afin de mettre en place une politique de sécurité unifiée.
Services informatiques Big Data natifs dans le nuage MaxCompute	Moteur de calcul Big Data.. En tant qu'entrepôt de données au niveau de l'entreprise, stockant et calculant tout le volume de données, il est l'objet principal et le véhicule de la gouvernance des données.	-Planification des ressources.Acheter des UC prépayées ou utiliser la facturation à l'usage en fonction du volume de données et des attentes en matière de développement. -Cycle de vie des données.Élaborer une stratégie raisonnable pour le stockage des données à plusieurs niveaux et la gestion du cycle de vie afin d'optimiser les coûts.	Fournissant un stockage de classe EB et une puissance de calcul de haute performance, entièrement géré, stable et fiable, il est la pierre angulaire de la construction d'un entrepôt numérique d'entreprise. L'intégration transparente avec DataWorks est inhérente.
Plate-forme de services informatiques sur la protection de la vie privée	Plate-forme informatique renforcée pour la protection de la vie privée(en option). Fournit des capacités informatiques de fusion de données sûres et fiables dans des scénarios où la collaboration des données est nécessaire mais où les données originales ne sont pas censées être hors domaine.	-Scénarios d'utilisation.Il convient aux scénarios d'entreprise qui nécessitent une collaboration en matière de données avec des organisations externes, comme le marketing commun et le contrôle conjoint des risques.	L'exploitation de la valeur des données dans le respect des exigences en matière de sécurité et de conformité et la réalisation de la "disponibilité et de l'invisibilité des données" constituent une forme avancée de gouvernance des données.

Résumé des avantages du programme

? Lien complet de la lignée de données.L'analyse automatisée génère une cartographie des données au niveau du champ, ce qui permet d'effectuer des analyses d'impact et de rechercher les causes profondes, en clarifiant les données d'un seul coup d'œil.
✅ Audits proactifs de la qualité des données.Fournir un contrôle rigoureux des règles et une alerte précoce intelligente, en remplaçant la remédiation après coup par une prévention avant coup et en garantissant des données précises et fiables.
? ️ Protection intelligente des données sensibles.La découverte, la classification et le classement automatiques des données sensibles basés sur la ML, combinés à des politiques précises de contrôle d'accès et de désensibilisation, répondent aux exigences de conformité financière.
? Harmoniser les informations sur la valeur des actifs.Créer un catalogue unifié des actifs de données de l'entreprise, en regroupant les métadonnées, les scores de qualité, les labels de sécurité, l'actualité et d'autres informations, de manière à ce que les actifs de données puissent être vus d'un seul coup d'œil.
⚙️ Automatisation des processus de gouvernance.Intégrer des spécifications de gouvernance (par exemple, des règles de qualité, des politiques de sécurité) dans le processus de développement afin de parvenir à une "gouvernance de gauche", d'améliorer l'efficacité et de réduire les coûts humains.

Scénarios d'application et clients concernés

Cette solution est idéale pour les scénarios commerciaux et les clients suivants :

Scénarios d'application.
- Respecter la conformité réglementaire.Répondre aux exigences d'audit des régulateurs du secteur financier en matière de sécurité, de qualité et d'origine des données.
- Amélioration de la qualité des données.Résoudre les problèmes d'incohérence, d'inexactitude et d'inopportunité des données qui affectent l'entreprise depuis longtemps, et améliorer l'efficacité de la prise de décision.
- Bâtiment de sécurité des données.Mettre en place un système de protection de la sécurité des données de l'entreprise afin d'empêcher la fuite de données sensibles et de protéger la vie privée des clients.
- L'appropriation des données.Trier et revitaliser les données de l'entreprise afin d'améliorer l'efficacité de la recherche, de la compréhension et de l'utilisation des données.
Clients concernés.
- Les institutions financières telles que les banques, les valeurs mobilières et les assurances.Industrie fortement réglementée avec un besoin rigide de gouvernance des données.
- Grands groupes d'entreprises.La complexité de l'entreprise, la multiplicité des systèmes et la confusion des données nécessitent de toute urgence une gouvernance unifiée.
- Les entreprises Internet sensibles aux données.Par exemple, le commerce électronique et les plateformes sociales, qui contiennent un grand nombre de données d'utilisateurs, doivent être strictement contrôlés.