Solusi penyimpanan dan komputasi data besar berbiaya rendah: Penyimpanan objek OSS + arsitektur terpisah untuk komputasi, mengurangi biaya hingga 50%

Pendahuluan (analisis masalah)

Sebagai pemimpin platform big data, apakah Anda sedang menghadapi tantangan berikut?

Biaya penyimpanan melonjak:Jumlah data meningkat dengan kecepatan 501 TB per tahun, dan solusi penyimpanan HDFS tradisional membutuhkan server yang terus diperluas. Biaya pengadaan perangkat keras dan pemeliharaan ruang server menjadi beban yang berat.
Memboroskan sumber daya komputasi:Untuk mengatasi lonjakan komputasi sesekali (seperti pembuatan laporan akhir bulan dan audit tahunan), diperlukan pemeliharaan jangka panjang terhadap kluster Hadoop/Spark yang besar, yang mengakibatkan rata-rata penggunaan CPU kurang dari 20% dan terjadi pemborosan sumber daya yang serius.
Keterbatasan skalabilitas: Penyimpanan dan komputasi terkait erat. Saat memperluas penyimpanan, Anda harus memperluas node komputasi secara bersamaan. Prosesnya rumit dan tidak memungkinkan untuk melakukan skalabilitas elastis independen untuk sumber daya.
Pengoperasian dan pemeliharaan teknisnya rumit:Mengatur klaster sendiri membutuhkan tim profesional untuk melakukan peningkatan versi, pemecahan masalah, dan optimasi kinerja secara berkelanjutan. Hambatan teknisnya tinggi dan hal tersebut mengalihkan fokus dari inovasi bisnis data itu sendiri.

Dalam satu kalimat:Jika Anda sedang kesulitan dengan biaya infrastruktur big data yang terus meningkat dan pekerjaan operasi dan pemeliharaan yang berat, maka artikel ini akan memberi Anda solusi lengkap berdasarkan arsitektur storage-computation separation dari Alibaba Cloud, yang memungkinkan pengurangan biaya dan peningkatan efisiensi.

Diagram arsitektur solusi dan ikhtisar.

Diagram arsitektur.

Solusi penyimpanan dan komputasi data besar berbiaya rendah: Penyimpanan objek OSS + arsitektur terpisah untuk komputasi, mengurangi biaya hingga 50% - LikaCloud.

Rangkuman: 

Inti dari rencana ini adalah ...\n"Pemisahan penyimpanan dan komputasi"\n Dan \n"Serverlessifikasi"Semua data langsung dimasukkan ke dalamStorage Object Cloud Alibaba (OSS)Memanfaatkan kapasitas tak terbatas dan kemampuan penyimpanan berlapis berbiaya rendahnya (standar, frekuensi rendah, arsip) sebagai basis penyimpanan permanen untuk data lake. Tugas-tugas komputasi dilakukan olehContoh Wadah Elastis (ECI)\n Dan E-MapReduce ServerlessMereka dijalankan oleh mesin tanpa server, hanya diaktifkan dalam hitungan detik saat tugas berjalan, dan dibayar berdasarkan sumber daya komputasi yang sebenarnya digunakan (CPU/memori/durasi runtime), serta dibebaskan segera setelah tugas selesai. Seluruh proses didorong oleh peristiwa (seperti file baru yang diunggah ke OSS), tanpa perlu mengelola server apa pun.

Proposisi nilai:Program ini langsung menangani masalah utama. Dengan mengubah biaya tetap cluster yang tinggi menjadi biaya penyimpanan yang sangat rendah + biaya komputasi sesuai permintaan, total biaya dapat berkurang lebih dari 50% dan sepenuhnya mengurangi tekanan pada operasi dan pemeliharaan.

Detail produk dan komponen inti

Nama komponen: \n Storage Object Cloud Alibaba (OSS)
- Memainkan peran:Seluruh arsitektur dari\nPilar penyimpanan inti, menampung semua data.
- Konfigurasi kunci/saran pemilihan: 
  - Data panas yang sering diakses:\n MengadopsiPenyimpanan standar.Jenis.
  - Data suhu yang dikunjungi sesekali: \n MengadopsiKunjungan yang jarangJenis penyimpanan (biaya akses rendah, biaya penyimpanan lebih rendah).
  - Data dingin yang diarsipkan/dibackup:\n MengadopsiArsipkan.或Archivasi dinginTipe penyimpanan (biaya terendah).
  - Dengan melakukan konfigurasi.Aturan siklus hidup.Melakukan konversi otomatis data dari standar ke frekuensi rendah hingga arsip, untuk memaksimalkan penghematan biaya.
- Mengapa memilihnya: Ini menyediakan ketahanan data selama 12 jam, dengan biaya hanya sepertiga dari penyimpanan hard drive yang dibangun sendiri atau bahkan lebih rendah, menjadikannya pilihan ideal untuk arsitektur penyimpanan dan komputasi terpisah.
Nama komponen: \n Contoh Wadah Elastis (ECI)
- Memainkan peran:\n Inti komputasi elastis yang beroperasi sesuai kebutuhan.. Digunakan untuk menjalankan tugas-tugas komputasi terkontainer yang disesuaikan (seperti skrip Python, program pengolahan data yang disesuaikan).
- Konfigurasi kunci/saran pemilihan: 
  - Mengenai…Jangka pendek, tiba-tiba.Untuk tugas komputasi (seperti ETL yang berjalan 1-2 jam setiap hari), sebaiknya gunakan ECI.
  - Konfigurasikan sesuai dengan spesifikasi vCPU dan memori yang dibutuhkan oleh tugas, dukung instance skala kecil dengan 0,25 core, untuk menghindari pemborosan sumber daya.
  - lulus (tagihan atau inspeksi, dll)Pemicu insiden.(Seperti peristiwa unggahan file OSS) Membangunkan sumber daya komputasi secara otomatis, mencapai alur kerja yang sepenuhnya otomatis.
- Mengapa memilihnya: Ini benar-benar mengimplementasikan "penagihan per detik dan skalabilitas sesuai permintaan" untuk sumber daya komputasi, tanpa perlu menyisihkan sumber daya, sehingga sangat meningkatkan tingkat pemanfaatan sumber daya.

Ringkasan kelebihan dari solusi tersebut.

? Total biaya langsung turun 501 TP4T+: Penyimpanan menggunakan OSS berbiaya rendah, komputasi dibayar sesuai kebutuhan, tanpa perlu membayar untuk sumber daya yang tidak terpakai. Dibandingkan dengan membangun cluster tetap sendiri, total biaya kepemilikan (TCO) jauh lebih rendah.
⚡ Fleksibilitas ekstrem, ekspansi dalam hitungan detik: Menghadapi lonjakan data atau kebutuhan analisis mendadak, sumber daya komputasi dapat diperluas dalam sekejap tanpa perlu membeli dan menginstalnya terlebih dahulu, sehingga meningkatkan kelincahan bisnis secara signifikan.
?️ Ketersediaan tinggi dan bebas operasi dan pemeliharaan:Layanan dasar Alibaba Cloud menyediakan SLA dengan ketersediaan tinggi, sehingga tim tidak perlu khawatir tentang kegagalan dan pemeliharaan infrastruktur dasar, dan dapat fokus pada pengembangan data itu sendiri.
? Terbuka dan kompatibel: Sepenuhnya kompatibel dengan ekosistem open source, program pemrosesan data yang ada dapat dimigrasikan dengan lancar, sehingga melindungi investasi teknologi yang sudah ada.

Scenario aplikasi dan klien yang cocok

Scenario aplikasi khas: 
- Tugas ETL periodik: Operasi pembersihan, konversi, dan pemuatan data yang dilakukan setiap hari/minggu.
- Kueri ad-hoc interaktif:Tugas kueri tidak terjadwal yang diluncurkan oleh analis data, sumber daya komputasi dibuat saat kueri dimulai dan dibebaskan saat kueri selesai.
- Proses berbasis peristiwa:Contohnya, jika ada file log baru yang diunggah ke OSS, itu akan segera memicu tugas deteksi anomali atau pembuatan laporan.
Karakteristik pelanggan yang berlaku: 
- SemuaSensitif terhadap biayauntuk perusahaan dan tim.
- Ada kebutuhan untuk melakukan perhitungan.Pentasan yang jelas dengan puncak dan lembah yang terlihat jelas.Scenario (seperti banyak tugas di siang hari dan sedikit tugas di malam hari).
- HarapanMembangun platform big data dari nol.Dan untuk perusahaan yang tidak ingin membentuk tim operasi dan pemeliharaan yang besar.
- Sedang berlangsung.Digital Transformation\n, perusahaan tradisional yang berharap untuk memperkenalkan kemampuan big data dengan biaya kesalahan yang minimal.