소개(고충 분석)

금융 기업의 CTO, 데이터 책임자, 아키텍트 여러분, 디지털 혁신의 물결 속에서 다음과 같은 질문으로 깊은 고민을 하고 계신가요?

  • 데이터 혈통 블랙홀.규제 요건이 특정 보고서의 데이터 출처를 추적하는 경우 데이터를 수동으로 분류하는 데 며칠이 걸리며, "데이터의 출처와 데이터로 수행한 작업"에 대한 질문에 빠르고 명확하게 답하는 것은 불가능합니다.
  • 데이터의 품질이 걱정스럽습니다.주요 비즈니스 지표는 서로 다른 시스템에서 일관되지 않은 데이터를 가지고 있으며, 더티 데이터와 중복 데이터는 위험 관리 결정 및 비즈니스 보고서의 정확성에 심각한 영향을 미치지만 효과적인 모니터링 및 감사 도구가 부족합니다.
  • 민감한 데이터는 통제할 수 없습니다.고객 ID 번호, 은행 카드 번호와 같은 민감한 정보가 여기저기 흩어져 있고, 누가 이러한 정보에 액세스하고 어떻게 유출되는지 완전히 불투명하기 때문에 엄청난 규정 준수 위험과 유출 위험에 노출되어 있습니다.
  • 규정 준수에 대한 압박은 엄청납니다.데이터 보안법 및 중국은행의 금융 데이터 보안 분류 가이드라인과 같은 규제 요건을 충족하려면 데이터 분류 및 등급 지정, 보안 감사에 많은 인력을 투입해야 하는데, 이는 비용과 효율성이 높습니다.

금융 규제 요건을 충족하는 데이터 거버넌스 시스템을 구축하기 위한 솔루션을 찾고 있다면, DataWorks와 데이터 보안 센터(DSC)를 기반으로 하는 알리윤의 금융 등급 데이터 거버넌스 솔루션이 명확하고 효율적인 길을 제시할 것입니다.

솔루션 아키텍처 다이어그램 및 개요

다음 그림은 알리클라우드 데이터웍스 및 DSC를 기반으로 구축된 데이터 거버넌스의 전체 아키텍처와 데이터 흐름 관계를 보여줍니다:

금융 등급 데이터 거버넌스 솔루션: 엔터프라이즈급 데이터 혈액 및 품질 관리 시스템 구축 - LikaCloud

이 프로그램의 핵심 디자인 아이디어는 다음과 같습니다."프로세스로서의 거버넌스, 기본으로 제공되는 보안"워크플로우는 다음과 같습니다:

  1. 1.데이터 액세스 및 개발.통과(청구서 또는 검사 등)DataWorks데이터 통합 모듈은 분산된 데이터 소스(RDS, MaxCompute, OSS 등)를 데이터 웨어하우스에 동기화하고 시각적 개발 인터페이스를 통해 데이터 처리 작업의 구성 및 예약을 완료합니다.
  2. 2.자동 혈액 검색.DataWorks는 데이터 처리 작업(SQL, ETL 등)을 자동으로 구문 분석하고 데이터 소스에서 최종 보고서까지 데이터를 생성합니다.엔드투엔드 데이터 계보 매핑를 클릭하고 데이터 맵에 표시합니다.
  3. 3.민감한 데이터 식별 및 분류.​ ​데이터 보안 센터(DSC)내장된 금융 산업 템플릿과 머신러닝 알고리즘을 통해 민감한 데이터(예: 고객 PII 정보, 거래 정보 등)를 자동으로 스캔, 검색 및 분류하고 분류 계층 구조로 태그를 지정합니다.
  4. 4.품질 감사 및 모니터링.DataWorks에서 데이터 품질 모니터링 규칙을 구성하여 주요 데이터 테이블의 적시성, 완전성, 정확성을 확인하고, 문제가 발생하면 자동으로 다운스트림 작업을 경고 및 차단하여 데이터 출력의 품질을 보장합니다.
  5. 5.통합 자산 관리 및 보안 제어.모든 메타데이터, 혈통, 품질 점수, 보안 레이블이 통합된 엔터프라이즈 데이터 자산 카탈로그에 집계됩니다. 통합 데이터 보안 정책(예: 민감성 해제, 액세스 제어)은 DSC의 위험 식별 결과와 감사 로그를 기반으로 공식화되고 시행됩니다.

아키텍처의 가치 제안은 다음과 같습니다.데이터 거버넌스의 핵심 링크(메타데이터, 데이터 품질, 데이터 보안)를 기존의 수동적이고 수동적이며 고립된 모드에서 전체 체인을 개방하는 자동화되고 능동적이며 협업적인 시스템으로 전환하여 데이터가 진정으로 신뢰할 수 있고 제어 가능하며 사용 가능한 전략적 자산이 될 수 있도록 합니다.

핵심 제품 및 구성 요소

구성 요소 이름역할 수행주요 구성/선택 권장 사항선택하는 이유
빅데이터 개발 거버넌스 플랫폼
DataWorks
데이터 개발 및 거버넌스를 위한 핵심 플랫폼. 데이터 통합, 데이터 개발, 데이터 품질, 데이터 매핑, 데이터 서비스 등의 원스톱 기능을 제공하며 데이터 거버넌스 프로세스를 위한 메인 호스트 플랫폼입니다.-버전 선택.금융 회사는 더 높은 성능 및 보안 요구 사항을 충족하기 위해 엔터프라이즈 에디션을 선택하는 것이 좋습니다.
-데이터 품질.무결성, 고유성 및 정확성 규칙을 구성하고 핵심 비즈니스 지표 및 테이블에 대한 차단 임계값을 설정하세요.
-데이터 맵.자동 혈통 확인을 활성화하고 자산 설명과 소유자 정보를 정기적으로 유지 관리하세요.
데이터 생산과 데이터 거버넌스 프로세스를 원활하게 통합하여 거버넌스와 개발의 "두 가지 스킨" 문제를 방지합니다. 자동 혈통 검색 기능은 오픈 소스 도구의 기능을 훨씬 능가하므로 운영 및 유지 관리 비용이 크게 절감됩니다.
데이터 보안 센터(DSC)데이터 보안 거버넌스 핵심 엔진.. 자동화된 민감한 데이터 검색, 분류 및 등급 지정, 위험 감지, 감사 및 민감도 해제를 담당하는 이 솔루션은 데이터 보안 거버넌스의 기술적 초석입니다.-스캔 범위.핵심 데이터 웨어하우스(예: MaxCompute), 데이터베이스(RDS)에 대한 정기적인 스캔 작업을 구성합니다.
-템플릿을 식별합니다.금융 업계 템플릿을 선택하고 사용자 지정하여 신분증, 은행 카드, 전화번호와 같은 민감한 정보를 정확하게 식별할 수 있습니다.
-위험 모델링.비정상적인 액세스, 빈번한 작업 등에 대한 위험 감지 모델을 활성화합니다.
머신 러닝 기술을 사용해 방대한 데이터에서 민감한 정보를 "찾을 수 없는" 문제를 해결합니다. DataWorks, MaxCompute 및 기타 제품과 긴밀하게 통합되어 통합된 보안 정책을 구현합니다.
클라우드 네이티브 빅 데이터 컴퓨팅 서비스 MaxCompute빅 데이터 컴퓨팅 엔진.. 전체 데이터를 저장하고 계산하는 엔터프라이즈급 데이터 웨어하우스로서 데이터 거버넌스를 위한 주요 대상이자 수단입니다.-리소스 계획.데이터 양과 개발 예상치에 따라 선불 CU를 구매하거나 종량제 과금을 사용하세요.
-데이터 수명 주기.계층화된 데이터 스토리지 및 수명주기 관리를 위한 합리적인 전략을 수립하여 비용을 최적화하세요.
EB급 스토리지와 고성능 컴퓨팅 성능, 완전 관리형, 안정성과 신뢰성을 제공하는 이 솔루션은 엔터프라이즈 디지털 웨어하우스 구축의 초석입니다. DataWorks와의 원활한 통합이 내재되어 있습니다.
앤트 프라이버시 컴퓨팅 서비스 플랫폼개인정보 보호 강화 컴퓨팅 플랫폼(선택 사항). 데이터 협업이 필요하지만 원본 데이터가 도메인을 벗어날 것으로 예상되지 않는 시나리오에서 안전하고 신뢰할 수 있는 데이터 융합 컴퓨팅 기능을 제공합니다.-사용 시나리오.공동 마케팅, 공동 위험 관리 등 외부 조직과의 데이터 협업이 필요한 비즈니스 시나리오에 적합합니다.데이터 보안 및 규정 준수 요건을 충족하고 "데이터 가용성 및 투명성'을 실현한다는 전제 하에 데이터의 가치를 실현하는 것은 데이터 거버넌스의 발전된 형태입니다.

프로그램 혜택 요약

  • ? 전체 링크 데이터 혈통.자동 구문 분석은 필드 수준의 데이터 계보 매핑을 생성하여 영향 분석 및 근본 원인 추적을 지원하므로 데이터 계보를 한 눈에 명확하게 파악할 수 있습니다.
  • ✅ 사전 예방적 데이터 품질 감사.강력한 규칙 모니터링과 지능형 조기 경보를 제공하여 사후 수정을 사전 예방으로 바꾸고 정확하고 신뢰할 수 있는 데이터를 보장합니다.
  • ? ️ 지능형 민감 데이터 보호.ML 기반의 자동 검색과 민감한 데이터의 분류 및 등급 지정은 정밀한 액세스 제어 및 민감도 해제 정책과 결합되어 금융 규정 준수 요건을 충족합니다.
  • ? 자산 가치에 대한 인사이트를 조화시키세요.메타데이터, 품질 점수, 보안 레이블, 인기도 및 기타 정보를 집계하여 데이터 자산을 한 눈에 볼 수 있도록 통합 엔터프라이즈 데이터 자산 카탈로그를 구축하세요.
  • ⚙️ 거버넌스 프로세스 자동화.거버넌스 사양(예: 품질 규칙, 보안 정책)을 개발 프로세스에 포함시켜 "거버넌스 왼쪽'을 달성하고 효율성을 개선하며 인적 비용을 줄이세요.

애플리케이션 시나리오 및 적용 대상 고객

이 솔루션은 다음과 같은 비즈니스 시나리오와 고객에게 이상적입니다:

  • 애플리케이션 시나리오.
    • 규정 준수를 충족하세요.데이터 보안, 데이터 품질, 데이터 혈액에 대한 금융 산업 규제 기관의 감사 요건을 충족하세요.
    • 데이터 품질 개선.오랫동안 비즈니스를 괴롭혀온 일관되지 않고 부정확하며 시기적절하지 않은 데이터의 문제를 해결하고 의사 결정의 효율성을 개선하세요.
    • 데이터 보안 구축.기업 데이터 보안 보호 시스템을 구축하여 민감한 데이터 유출을 방지하고 고객의 개인 정보를 보호하세요.
    • 데이터 자산화.엔터프라이즈 데이터 자산을 분류하고 활성화하여 데이터 검색, 이해, 사용의 효율성을 개선하세요.
  • 해당 고객.
    • 은행, 증권, 보험 등의 금융 기관.데이터 거버넌스에 대한 엄격한 규제를 받는 산업.
    • 대규모 비즈니스 그룹.비즈니스의 복잡성, 시스템의 다양성, 데이터의 혼란, 통합 거버넌스의 시급한 필요성.
    • 데이터에 민감한 인터넷 기업.예를 들어 대량의 사용자 데이터를 보유하고 있는 전자상거래 및 소셜 플랫폼은 엄격하게 관리해야 합니다.

관련 링크