PB 규모의 데이터 실시간 분석 솔루션: Tencent Cloud의 네이티브 데이터 레이크 웨어하우스 기반 아키텍처 사례

소개(고충 분석)

데이터 엔지니어 또는 아키텍트로서 다음과 같은 질문으로 어려움을 겪고 계신가요?

데이터 사일로와 거버넌스의 어려움.비즈니스 데이터는 MySQL, Kafka, 로그 파일, CSV 등 수십 개의 데이터 소스에 다양한 형식으로 흩어져 있어 통합 관리와 데이터 품질 보증이 어렵습니다.
비용이 통제 불능입니다.대규모 프로모션, 이벤트 등 주기적인 비즈니스 피크에 대응하기 위해 기존 빅데이터 플랫폼(예: 자체 구축 Hadoop)은 피크 수요에 따라 하드웨어 리소스를 구성해야 하므로 대부분의 시간 동안 유휴 리소스가 발생하고 비용이 많이 듭니다.
성능 병목 현상.기존의 ETL 프로세스는 복잡하고 시간이 오래 걸리며, 데이터 입력부터 보고서 출력까지 T+1일이 걸리는 경우가 많아 실시간 데이터 인사이트에 대한 비즈니스의 긴급한 요구를 지원할 수 없고 의사 결정은 항상 한 발 늦어집니다.
복잡한 아키텍처와 과중한 O&M.전체 빅데이터 클러스터(HDFS, Hive, Spark, Presto)의 안정적인 운영을 위해서는 전문 운영 및 유지보수 인력에 대한 많은 투자와 높은 기술 문턱, 그리고 문제 해결의 어려움이 필요합니다.

위의 문제로 어려움을 겪고 계신다면, 이 글에서 페타바이트급 데이터의 효율적이고 비용 효율적이며 통합된 실시간 분석을 달성하기 위한 Tencent Cloud Native Data Lake Warehouse 기반의 완벽한 솔루션을 소개해 드리겠습니다.

솔루션 아키텍처 다이어그램 및 개요

아키텍처 다이어그램

PB 규모의 데이터 실시간 분석 솔루션: Tencent Cloud의 네이티브 데이터 레이크 웨어하우스 기반 아키텍처 사례 - LikaCloud

개요.

이 프로그램의 핵심은 다음과 같습니다.“계정 분리”노래로 응답“통합 메타데이터 관리”. 모든 원시 데이터는 매우 안정적이고 저렴한 비용으로 균일하게 저장됩니다.텐센트 클라우드 오브젝트 스토리지(COS)데이터 레이크의 초석을 형성합니다.데이터 레이크 컴퓨팅(DLC)두뇌 역할을 하는 이 솔루션은 통합 메타데이터 관리, 권한 제어, 데이터 거버넌스를 담당하므로 자체 Hive Metastore를 구축할 필요가 없습니다.Elastic MapReduce(EMR)강력한 컴퓨팅 엔진인 클러스터는 필요에 따라 풀업되어 표준 Spark, Presto 및 기타 컴퓨팅 프레임워크를 통해 COS의 데이터를 직접 분석하고, 작업이 완료되면 리소스를 해제합니다. 궁극적으로 분석 결과는 BI 도구, 데이터 애플리케이션 또는 AI 플랫폼에서 직접 사용할 수 있습니다.

가치 제안.이 솔루션은 도입의 어려움을 완벽하게 해결하고, 스토리지-컴퓨팅 분리를 통해 스토리지 및 컴퓨팅 비용을 절감하며, 통합 메타데이터를 통해 데이터 사일로를 허물고, 탄력적인 서버리스 컴퓨팅 엔진을 통해 빠른 분석을 달성하며, O&M 복잡성을 최소화합니다.

핵심 제품 및 구성 요소

컴포넌트 이름. 텐센트 클라우드 오브젝트 스토리지(COS)
- 역할 수행하기.통합 아키텍처영구 스토리지 계층모든 원시 데이터, 처리된 데이터 및 계산 결과를 저장합니다.
- 주요 구성/선택 권장 사항빈번한 분석이 필요한 열 데이터는 다음을 사용하여 분석합니다.표준 스토리지아카이빙을 위한 콜드 데이터 사용아카이브 스토리지회사의 수명 주기 전략은 한 수명 주기 전략에서 다음 수명 주기 전략으로 자동 전환하여 비용 절감을 극대화하도록 설계되었습니다.
- 선택하는 이유.무제한 용량과 99.99999999999%의 데이터 안정성을 제공하여 데이터 레이크 구축에 이상적인 기반이 됩니다. 뛰어난 성능 최적화를 위해 EMR 및 DLC와 기본적으로 원활하게 통합됩니다.
컴포넌트 이름. 데이터 레이크 컴퓨팅(DLC)
- 역할 수행하기.구조화된“지능형 두뇌”통합 메타데이터 관리, 데이터 권한 및 액세스 제어, SQL 데이터 카탈로그, 서버리스 대화형 쿼리 서비스를 제공합니다.
- 주요 구성/선택 권장 사항사전 구축된 리소스 없이 바로 서버리스 모드를 사용하세요. COS의 데이터와 쉽게 인터페이스하고 데이터 카탈로그 기능을 통해 테이블 구조를 정의할 수 있습니다.
- 선택하는 이유.메타데이터 사일로 문제를 완전히 해결합니다. EMR, BI 도구 등이 DLC를 통해 통합 메타데이터 보기에 액세스하여 권한과 테이블 구조를 일관되게 관리할 수 있습니다. 서버리스 스파크 기능을 통해 스파크 작업을 무의미하게 제출할 수 있어 운영과 유지보수를 크게 간소화할 수 있습니다.
컴포넌트 이름. Elastic MapReduce(EMR)
- 역할 수행하기.핵심탄력적 컴퓨팅 엔진대규모 데이터 처리 작업(예: ETL, 대화형 쿼리, 머신 러닝)을 실행하는 역할을 담당합니다.
- 주요 구성/선택 권장 사항옵션볼륨 청구그리고탄성 텔레스코핑(즉, 플렉시블)모드를 사용하여 CPU/메모리 부하에 따라 작업 노드를 자동으로 확장 및 축소할 수 있습니다. 최적의 성능을 위해 COS, DLC와 함께 배포할 수 있는 옵션.
- 선택하는 이유.오픈 소스 빅데이터 에코시스템의 풀스택 기능(Hadoop, Spark, Presto, Hbase 등)을 제공하며, 즉시 Tencent Cloud와 긴밀하게 통합됩니다. 탄력적인 기능으로 리소스를 효율적으로 사용할 수 있으며, 실제 사용한 계산량에 대해서만 비용을 지불합니다.

프로그램 혜택 요약

? 극한의 비용 최적화.기존의 자체 구축된 고정 클러스터와 비교하여 스토리지와 컴퓨팅을 분리하고 컴퓨팅 리소스를 온디맨드 방식으로 확장할 수 있습니다.포괄적인 비용을 50% 이상 절감할 수 있습니다.。
⚡ 효율적인 분석 및 민첩한 운영.데이터 마이그레이션이 필요 없는 EMR, 고속으로 COS 데이터를 직접 분석할 수 있는 DLC 통합 메타데이터 관리분 단위로 구축하는 빅데이터 플랫폼O&M 워크로드가 90% 감소했습니다.
? 데이터 사일로 해체.데이터 사본은 COS에 저장되며, DLC의 통합된 뷰를 통해 여러 컴퓨팅 엔진(EMR, 클라우드 기능 등)에서 공유 및 분석되어 진정한 의미에서 다음과 같은 기능을 지원합니다.데이터 포함。
? ️ 엔터프라이즈급 보안 거버넌스.DLC는 열 수준의 데이터 권한 제어와 CAM과의 원활한 통합 기능을 제공합니다.감사 로그엔터프라이즈 데이터 보안 및 규정 준수 요건을 완벽하게 충족합니다.

애플리케이션 시나리오 및 적용 대상 고객

일반적인 애플리케이션 시나리오.
- 대화형 인스턴트 쿼리.데이터 분석가들은 Presto/Spark SQL을 사용하여 DLC를 통해 직접 방대한 기록 데이터에 대한 빠른 쿼리를 수행하고 즉각적인 결과를 얻을 수 있습니다.
- 실시간 로그 분석.비즈니스 로그는 실시간으로 COS/Kafka에 기록되며, 실시간에 가까운 처리를 위해 EMR 스트리밍 또는 Spark 스트리밍으로 분석되어 비즈니스 상태를 모니터링합니다.
- 머신 러닝 및 데이터 마이닝.대규모 모델 학습을 위해 k8s 클러스터에서 EMR의 Spark를 사용하여 COS에서 직접 학습 데이터를 읽어들일 수 있습니다.
적용 가능한 고객 특성.
- 데이터의 양이TB에서 PB 수준까지전통 기업 및 인터넷 기업의 지속적인 성장에 기여하고 있습니다.
- 적은 금액으로 수신기존 데이터 웨어하우스의 고비용 확장 및 성능 병목 현상문제가 있는 팀.
- wish여러 데이터 소스 통합기업 데이터에 대한 통합 보기를 구축하는 고객.
- 팀 희망기본 인프라 운영 및 유지 관리보다는 비즈니스 데이터 개발에 집중하세요.。