Решения для управления данными финансового класса: создание системы контроля качества и крови данных на уровне предприятия

Введение (анализ болевых точек)

Уважаемые технические директора, директора по данным и архитекторы финансовых предприятий, на волне цифровой трансформации не дают ли вам покоя следующие вопросы?

Черная дыра в кровеносной системе данных.Когда нормативные требования отслеживают источник данных в конкретном отчете, на ручную сортировку данных уходят дни, и при этом нет возможности быстро и четко ответить на вопрос "откуда взялись данные и что с ними было сделано".
Качество данных вызывает беспокойство.Ключевые бизнес-показатели имеют противоречивые данные в разных системах, а грязные и дублирующиеся данные серьезно влияют на точность решений по контролю рисков и бизнес-отчетов, но при этом отсутствуют эффективные инструменты мониторинга и аудита.
Чувствительные данные вышли из-под контроля.Чувствительная информация, такая как идентификационные номера клиентов и номера банковских карт, разбросана повсюду, и совершенно непрозрачно, кто и как получает к ней доступ, что подвергает ее огромным рискам соответствия нормативным требованиям и утечки.
Давление, связанное с соблюдением требований, огромно.Выполнение таких нормативных требований, как Закон о безопасности данных и Руководство Банка Китая по классификации безопасности финансовых данных, требует больших трудозатрат на классификацию и классификацию данных, а также на проведение аудита безопасности, что является дорогостоящим и неэффективным.

Если вы ищете решение для создания системы управления данными, отвечающей требованиям финансового регулирования, решение Aliyun для управления данными финансового класса на базе DataWorks и Data Security Centre (DSC) обеспечит вам четкий и эффективный путь.

Диаграмма и обзор архитектуры решения

На следующем рисунке показана общая архитектура и взаимосвязь потоков данных в системе управления данными, построенной на базе AliCloud DataWorks и DSC:

Решения для управления данными финансового класса: создание системы контроля качества и крови данных на уровне предприятия - LikaCloud

Основные идеи этой программы заключаются в следующем"Управление как процесс, безопасность как встроенный элемент".Рабочий процесс выглядит следующим образом:

1.Доступ к данным и разработка.пройти (законопроект, проверку и т.д.)DataWorksМодуль интеграции данных синхронизирует разрозненные источники данных (RDS, MaxCompute, OSS и т. д.) с Хранилищем данных и завершает настройку и планирование задач обработки данных с помощью визуального интерфейса разработки.
2.Автоматическое обнаружение крови.DataWorks автоматически разбирает задачи обработки данных (SQL, ETL и т. д.) и генерирует данные от источника данных до конечного отчета.Составление сквозного маршрута данныхи представлены на карте данных.
3.Идентификация и классификация чувствительных данных. Центр безопасности данных (ЦБД)Благодаря встроенным шаблонам для финансовой отрасли и алгоритмам машинного обучения конфиденциальные данные (например, PII-информация клиентов, информация о транзакциях и т. д.) автоматически сканируются, обнаруживаются и классифицируются, а также помечаются иерархиями классификации.
4.Аудит и мониторинг качества.Настройте правила мониторинга качества данных в DataWorks для проверки своевременности, полноты и точности ключевых таблиц данных, а также автоматического оповещения и блокировки последующих задач при возникновении проблем, чтобы гарантировать качество выходных данных.
5.Унифицированное управление активами и контроль безопасности.Все метаданные, родословные, оценки качества и метки безопасности объединяются в единый каталог активов данных предприятия. Единые политики безопасности данных (например, десенсибилизация, контроль доступа) разрабатываются и применяются на основе результатов идентификации рисков и журналов аудита DSC.

Ценностное предложение архитектуры таково.Она преобразует основные звенья управления данными (метаданные, качество данных, безопасность данных) из традиционного ручного, пассивного и изолированного режима в автоматизированную, активную и совместную систему, которая открывает всю цепочку, чтобы данные действительно стали надежным, контролируемым и используемым стратегическим активом.

Основные продукты и компоненты

название компонента	играть роль	Основные рекомендации по конфигурации/выбору	Почему стоит выбрать его
Платформа управления разработкой больших данных DataWorks	Основная платформа для разработки и управления данными. Предоставляет универсальные функции, такие как интеграция данных, разработка данных, качество данных, отображение данных, услуги по работе с данными и т. д., и является основной платформой для процессов управления данными.	-Выбор версии.Финансовым компаниям рекомендуется выбрать версию Enterprise Edition, чтобы соответствовать более высоким требованиям к производительности и безопасности. -Качество данных.Настройте правила целостности, уникальности и точности и установите пороги блокировки для основных бизнес-показателей и таблиц. -Карты данных.Обеспечьте автоматическое разрешение родословных и регулярно поддерживайте описания активов и информацию о владельцах.	Она легко интегрирует процессы производства данных и управления ими, позволяя избежать проблемы "двух шкур" - управления и разработки. Возможности автоматического обнаружения родословных значительно превосходят возможности инструментов с открытым исходным кодом, что значительно снижает затраты на эксплуатацию и обслуживание.
Центр безопасности данных (ЦБД)	Основной механизм управления безопасностью данных.. Отвечая за автоматизированное обнаружение, классификацию и классификацию конфиденциальных данных, выявление рисков, аудит и десенсибилизацию, она является техническим краеугольным камнем управления безопасностью данных.	-Диапазон сканирования.Настройте периодические задачи сканирования для основных хранилищ данных (например, MaxCompute), баз данных (RDS). -Определите шаблон.Выбирайте и настраивайте шаблоны для финансовой отрасли, чтобы точно идентифицировать конфиденциальную информацию, такую как удостоверения личности, банковские карты и номера телефонов. -Моделирование рисков.Создание моделей обнаружения рисков для аномального доступа, высокочастотных операций и т. д.	Она использует технологию машинного обучения для решения проблемы "невозможности найти" конфиденциальную информацию в массивах данных. Он глубоко интегрирован с DataWorks, MaxCompute и другими продуктами для достижения единой политики безопасности.
Облачные нативные вычислительные сервисы для работы с большими данными MaxCompute	Вычислительный механизм для работы с большими данными.. Как хранилище данных корпоративного уровня, хранящее и вычисляющее весь объем данных, оно является основным объектом и средством управления данными.	-Планирование ресурсов.Приобретайте предоплаченные CU или используйте биллинг с оплатой по факту в зависимости от объема данных и ожиданий разработчиков. -Жизненный цикл данных.Разработайте разумную стратегию многоуровневого хранения данных и управления их жизненным циклом, чтобы оптимизировать расходы.	Предоставляя хранилище EB-класса и высокопроизводительные вычислительные мощности, полностью управляемое, стабильное и надежное, оно является краеугольным камнем для создания цифрового хранилища предприятия. Присутствует бесшовная интеграция с DataWorks.
Платформа вычислительных сервисов Ant Privacy	Вычислительная платформа с повышенной конфиденциальностью(Дополнительно). Обеспечивает безопасные и надежные вычислительные возможности слияния данных в сценариях, где требуется совместная работа с данными, но не предполагается, что исходные данные выйдут из-под контроля.	-Сценарии использования.Он подходит для бизнес-сценариев, требующих совместного использования данных с внешними организациями, например, для совместного маркетинга или совместного контроля рисков.	Раскрытие ценности данных при условии соблюдения требований безопасности данных и соответствия нормативным требованиям, а также обеспечение "доступности и невидимости данных" - это усовершенствованная форма управления данными.

Краткое описание преимуществ программы

? Полная ссылка на данные родословной.Автоматизированный разбор данных позволяет создавать карты линейки данных на уровне полей, поддерживая анализ воздействия и отслеживание первопричин, что делает линейку данных понятной с первого взгляда.
✅ Проактивный аудит качества данных.Обеспечьте строгий мониторинг правил и интеллектуальное раннее предупреждение, заменив устранение последствий "после факта" на предотвращение "до факта" и гарантируя точные и надежные данные.
? ️ Интеллектуальная защита конфиденциальных данных.Автоматическое обнаружение, классификация и сортировка конфиденциальных данных на основе ML в сочетании с точным контролем доступа и политиками десенсибилизации отвечают требованиям финансового соответствия.
? Согласование представлений о стоимости активов.Создайте единый корпоративный каталог активов данных, объединяющий метаданные, оценки качества, метки безопасности, "горячесть" и другую информацию, чтобы активы данных можно было увидеть с первого взгляда.
⚙️ Автоматизация процессов управления.Встраивание спецификаций управления (например, правил качества, политик безопасности) в процесс разработки для достижения "левого управления", повышения эффективности и снижения человеческих затрат.

Сценарии применения и применимые клиенты

Это решение идеально подходит для следующих бизнес-сценариев и клиентов:

Сценарии применения.
- Соответствие нормативным требованиям.Удовлетворение требований регуляторов финансовой отрасли к безопасности данных, качеству данных и крови данных.
- Улучшение качества данных.Решите проблемы непоследовательных, неточных и несвоевременных данных, которые долгое время досаждали бизнесу, и повысьте эффективность принятия решений.
- Здание для защиты данных.Создайте систему защиты корпоративной информации, чтобы предотвратить утечку конфиденциальных данных и защитить конфиденциальность клиентов.
- Активизация данных.Разберитесь с активами корпоративных данных и вдохните в них новую жизнь, чтобы повысить эффективность поиска, понимания и использования данных.
Применимые клиенты.
- Финансовые учреждения, такие как банки, ценные бумаги и страхование.Сильно регулируемая отрасль с жесткими требованиями к управлению данными.
- Большие деловые группы.Сложность бизнеса, множество систем и путаница данных настоятельно требуют единого управления.
- Интернет-компании, чувствительные к данным.Например, электронная коммерция и социальные платформы, на которых хранится большое количество пользовательских данных, нуждаются в строгом контроле.