ビッグデータ・ストレージとコンピュート・ソリューションの低コスト化：オブジェクト・ストレージOSS＋コンピュート分離アーキテクチャによるコスト削減 50%

はじめに（ペインポイント分析）

ビッグデータ・プラットフォームのオーナーとして、次のような課題に直面していませんか？

保管コストは高騰している。データ量は年間50%のペースで増加しており、従来のHDFSストレージ・ソリューションでは常にサーバーを拡張する必要があり、ハードウェアの調達やサーバールームの運用・保守コストが大きな負担となっている。
コンピューティングリソースの無駄遣い。時々発生するコンピューティングのピーク（月末のレポート作成、年次監査など）に対応するためには、巨大なHadoop/Sparkクラスタを長期間維持する必要があり、その結果、CPUの平均利用率は20%未満となり、リソースの深刻な浪費となっている。
スケーラビリティのボトルネック。ストレージと計算は密接に結合しており、ストレージを拡張する場合、計算ノードも同時に拡張しなければならず、操作が複雑で、リソースのスケーリングの独立した弾力性を達成することができない。
技術的なオペレーションとメンテナンスの複雑さ。自作クラスタは、継続的なバージョンアップ、トラブルシューティング、パフォーマンスチューニングを行う専門チームを必要とし、技術的な敷居が高く、データビジネスの革新に費やすべきエネルギーをそいでしまう。

一文で要約する。ビッグデータ・インフラのコスト上昇や運用・保守作業の負担増に頭を悩ませているなら、この記事では、AliCloudのストレージとコンピューティングの分離アーキテクチャに基づく、コスト削減と効率化を実現する完全なソリューションを紹介する。

解决方案架构图与概述

アーキテクチャ図

ビッグデータ・ストレージとコンピュート・ソリューションの低コスト化：オブジェクト・ストレージOSS＋コンピュート分離アーキテクチャによるコスト削減 50% - LikaCloud

概要

このプログラムの核心は"会計の分離"とともに「サーバーレス化.すべてのデータは直接AliCloudオブジェクトストレージ（OSS）データレイクのための永続的なストレージの台座として、無制限の容量と低コストの階層型ストレージ機能（標準、低頻度、アーカイブ）を活用している。計算タスクはエラスティック・コンテナ・インスタンス（ECI）歌で応えるE-MapReduce サーバーレスタスクが実行されている間、サーバーレスエンジンは数秒単位で引き出され、実際に使用されたコンピューティングリソースの量（CPU/メモリ/ランタイム時間）によって支払われ、タスクが完了するとすぐに解放される。プロセス全体はイベント・ドリブンであり（例えば、新しいファイルがOSSにアップロードされる）、サーバーを管理する必要はない。

価値提案。このソリューションは、高い固定クラスタコストを非常に低いストレージコスト＋オンデマンドコンピューティングコストに変換することで、包括的なコストを50%以上削減し、運用と保守のプレッシャーから完全に解放することができます。

核心产品与组件详解

コンポーネント名。 AliCloudオブジェクトストレージ（OSS）
- 役作り。統合アーキテクチャコア・ストレージすべてのデータを運ぶ。
- 主な構成／選択の推奨事項。
  - よくアクセスされるホットデータ。採用標準ストレージタイプ
  - 臨時訪問のための温度データ。採用低周波数アクセスストレージタイプ（アクセスコストが低く、ストレージコストはさらに低い）。
  - アーカイブ/バックアップ用のコールドデータ。採用ファイルに入れるまたはコールド・アーカイブストレージタイプ（最低コスト）。
  - を設定する。ライフサイクル・ルールこのシステムは、標準→低頻度→アーカイブとデータを自動的に変換し、コスト削減を最大化する。
- なぜそれを選ぶのか。自作ハードディスク・ドライブ・ストレージの1/3以下のコストで12 9sのデータ永続性を提供し、ストア・コンピュータ分離アーキテクチャに最適。
コンポーネント名。 エラスティック・コンテナ・インスタンス（ECI）
- 役作り。 オンデマンド・エラスティック・コンピューティング・コア.カスタムコンテナ化されたコンピューティングタスク（Pythonスクリプトやカスタマイズされたデータハンドラなど）を実行するために使用される。
- 主な構成／選択の推奨事項。
  - に関して短期的、突発的計算タスク（例えば、ETLを1日1～2時間実行する）の場合、ECIが望ましい。
  - タスクに必要なvCPUとメモリの仕様に応じて構成され、リソースの浪費を避けるために0.25コアの小規模な仕様のインスタンスをサポートする。
  - とおすイベントトリガ(例えば、OSSファイルアップロードイベント）完全に自動化されたパイプラインのために、コンピューティングリソースを自動的にウェイクアップする。
- なぜそれを選ぶのか。リソースを予約することなく、コンピューティング・リソースの「秒単位の課金とオンデマンド・スケーリング」を実現し、リソースの利用率を大幅に向上させる。

この計画のメリットをまとめたものです。

? 合わせて50%+となる。ストレージは低コストのOSS、コンピューティングは従量課金制のため、アイドル状態のリソースにお金を払う必要はなく、総所有コスト（TCO）は自前の固定クラスタに比べて劇的に低下する。
⚡ 秒単位のスケーリングによる極めて高い回復力。データの洪水や突然の分析需要に直面しても、コンピューティング・リソースを事前に購入して展開する必要なく、即座に拡張できるため、ビジネスの俊敏性が大幅に向上する。
?高い可用性とメンテナンスフリー。AliCloudインフラストラクチャーサービスは、高可用性SLAを提供するため、基盤となるインフラの障害やメンテナンスに気を配る必要がなく、チームはデータ開発そのものに集中することができます。
? 開放性と互換性。オープンソースのエコシステムと完全に互換性があるため、既存のデータ処理手順をスムーズに移行し、既存の技術投資を保護することができる。

应用场景与适用客户

典型的なアプリケーションシナリオ。
- 周期的なETLタスク。データのクレンジング、変換、ロード作業を毎日/毎週実施。
- インタラクティブなインスタントクエリ。データアナリストは、クエリの開始と同時に計算リソースが作成され、クエリの終了と同時に解放されるクエリタスクを時々開始する。
- イベント・ドリブン・プロセッシング。例えば、新しいログファイルがOSSにアップロードされると、すぐに異常検知やレポート作成タスクがトリガーされる。
适用客户特征：
- 所有権コスト重視ビジネスとチームの
- 計算された需要が存在する明確なピークと谷(例えば、昼間のタスクが多く、夜間のタスクが少ないシナリオ）。
- 願いビッグデータ・プラットフォームをゼロから構築すると、大規模なO&Mチームを作りたくない企業。
- 進行中デジタルトランスフォーメーションまた、試行錯誤のコストを最小限に抑えてビッグデータ機能を導入したいと考えている従来型の企業も多い。