PB規模データリアルタイム分析ソリューション：Tencent Cloudのネイティブデータレイクウェアハウスに基づくアーキテクチャの実践

はじめに（ペインポイント分析）

データエンジニアやアーキテクトとして、次のような疑問に頭を悩ませてはいないだろうか。

データのサイロ化とガバナンスの難しさ。ビジネスデータは、MySQL、Kafka、ログファイル、CSVなど数十のデータソースに散在し、フォーマットも異なるため、一元管理やデータ品質の保証が難しい。
コストは手に負えない。周期的なビジネスのピーク（大規模なプロモーションやイベントなど）に対処するために、従来のビッグデータプラットフォーム（自作Hadoopなど）は、ピーク需要に応じてハードウェアリソースを構成する必要があり、その結果、ほとんどの時間、リソースがアイドル状態になり、高いコストがかかる。
パフォーマンスのボトルネック。従来のETLプロセスは複雑で時間がかかり、データ入力からレポート出力までT+1日かかることが多く、リアルタイムでのデータ洞察に対するビジネスの緊急ニーズをサポートできず、意思決定は常に一歩遅れていた。
複雑なアーキテクチャと重いO&M。ビッグデータ・クラスタ一式（HDFS、Hive、Spark、Presto）の安定稼働を維持するには、専門的な運用・保守要員への多額の投資、高い技術的敷居、トラブルシューティングの困難さが必要となる。

もしあなたが上記のような問題で悩んでいるのであれば、この記事ではTencent Cloud Native Data Lake Warehouseをベースに、ペタバイト級のデータを効率的、コスト効率的、かつ統合的にリアルタイム分析するための完全なソリューションを紹介する。

解决方案架构图与概述

アーキテクチャ図

PB規模データリアルタイム分析ソリューション：Tencent Cloudのネイティブデータレイクウェアハウスに基づくアーキテクチャの実践 - LikaCloud

概要

このプログラムの核心は“会計の分離”歌で応える“統一されたメタデータ管理”.すべての生データは、信頼性が高く、低コストのテンセント・クラウド・オブジェクト・ストレージ（COS）データレイクの礎石となる。データレイク・コンピューティング（DLC）頭脳として、統合メタデータ管理、権限管理、データガバナンスを担い、独自のHiveメタストアを構築する必要性を排除します。エラスティック・マップリデュース（EMR）強力なコンピュート・エンジンとして、クラスターはオンデマンドで引き出され、標準的なSpark、Presto、その他のコンピュート・フレームワークを通じてCOSのデータを直接分析し、タスクが完了するとリソースを解放する。最終的には、分析結果をBIツール、データ・アプリケーション、AIプラットフォームで直接利用することができる。

価値提案。このソリューションは、導入時の問題点を完璧に解決し、ストレージと計算の分離によってストレージと計算コストを削減し、統一されたメタデータによってデータのサイロ化を解消し、弾力性のあるサーバーレス計算エンジンによって高速分析を実現し、O&Mの複雑さを最小限に抑える。

核心产品与组件详解

コンポーネント名。 テンセント・クラウド・オブジェクト・ストレージ（COS）
- 役作り。統合アーキテクチャ永続ストレージ層すべての生データ、処理されたデータ、計算結果が保存される。
- 主な構成／選択の推奨事項。頻繁に分析が必要な熱データは、以下の方法で分析される。標準ストレージアーカイブのためのコールドデータの使用アーカイバル・ストレージ同社のライフサイクル戦略は、あるライフサイクル戦略から次のライフサイクル戦略へと自動的に切り替えることで、コスト削減を最大化するように設計されている。
- なぜそれを選ぶのか。無制限の容量と99.999999999%のデータ信頼性を提供し、データレイク構築の理想的なベースとなります。EMRおよびDLCとシームレスにネイティブ統合し、優れたパフォーマンス最適化を実現します。
コンポーネント名。 データレイク・コンピューティング（DLC）
- 役作り。構造化された“インテリジェント・ブレイン”統合メタデータ管理、データ権限とアクセス制御、SQLデータカタログ、サーバーレス対話型クエリーサービスを提供する。
- 主な構成／選択の推奨事項。ビルド済みのリソースなしでサーバーレスモードを直接使用できます。データカタログ機能により、COS上のデータとのインターフェイスやテーブル構造の定義が容易。
- なぜそれを選ぶのか。メタデータサイロの問題を完全に解決し、EMRやBIツールなどがDLCを通じて統一されたメタデータビューにアクセスし、権限やテーブル構造の一貫した管理を実現します。Serverless Spark機能により、Sparkジョブの無感覚な投入が可能になり、運用とメンテナンスが大幅に簡素化される。
コンポーネント名。 エラスティック・マップリデュース（EMR）
- 役作り。コアエラスティック・コンピュート・エンジン大規模なデータ処理タスク（ETL、対話型クエリー、機械学習など）の実行を担当。
- 主な構成／選択の推奨事項。オプション容量課金と伸縮自在CPU/メモリ負荷に応じてタスクノードを自動的にスケールアップ/ダウンするモード。COS、DLCとのコロケーションデプロイメントオプションにより、最適なパフォーマンスを実現。
- なぜそれを選ぶのか。オープンソースのビッグデータエコシステム（Hadoop、Spark、Presto、Hbaseなど）のフルスタック機能を提供し、Tencent Cloudと深く統合されています。その弾力性機能により、リソースの効率的な利用が保証され、実際に使用された計算量に対してのみ支払いが行われます。

この計画のメリットをまとめたものです。

? 極端なコスト最適化。ストレージとコンピューティングの分離、コンピューティング・リソースのオンデマンド・スケーリング、従来の自作固定クラスタとの比較。総合コストは50%以上削減可能。
⚡ 効率的なアナリティクスとアジャイル・オペレーション。データ移行の必要がなく、EMRはCOSデータを直接高速分析できる。ビッグデータ・プラットフォームの分刻みの構築O&M作業量は90%減少した。
? データのサイロを壊す。データのコピーはCOSに保存され、DLCの統一ビューを通じて複数の計算エンジン（EMR、クラウド機能など）で共有・分析される。データの包含。
?エンタープライズレベルのセキュリティガバナンス。DLCは列レベルのデータ権限制御とCAMとのシームレスな統合を提供します。監査ログ企業のデータ・セキュリティおよびコンプライアンス要件を満たす。

应用场景与适用客户

典型的なアプリケーションシナリオ。
- インタラクティブなインスタントクエリ。データアナリストは、Presto/Spark SQLを使用して、DLCを通じて大量の履歴データに直接高速クエリを実行し、即座に結果を得ることができます。
- リアルタイムのログ分析。ビジネスログはリアルタイムでCOS/Kafkaに書き込まれ、EMR StreamingまたはSpark Streamingによって分析され、ビジネスステータスを監視するためにほぼリアルタイムで処理される。
- 機械学習とデータマイニングk8sクラスタ上のEMRのSparkを使用して、大規模なモデルトレーニングのためにCOSから直接トレーニングデータを読み込む。
适用客户特征：
- データ量は膨大になった。TBからPBレベル伝統的企業とインターネット企業の持続的成長
- 少なからず従来のデータウェアハウスにおける高価なスケーリングとパフォーマンスのボトルネック問題を抱えたチーム
- 願い複数のデータソースの統合企業データの統合ビューを構築しているお客様。
- チーム・ホープインフラの運用や保守よりも、ビジネスデータの開発に重点を置く。。