Halaman Utama/resep/Data besar dan AI/Detail konten.

Pendahuluan (analisis masalah)​

Sebagai seorang insinyur data atau arsitek, apakah Anda sedang kesulitan dengan pertanyaan berikut?

  • Pulau data dan kesulitan dalam tata kelola: ​Data bisnis tersebar di puluhan sumber data, termasuk MySQL, Kafka, file log, CSV, dan lain-lain, dengan format yang berbeda-beda, sehingga sulit untuk mengelolanya secara terpadu dan menjaga kualitas datanya.
  • ​Biaya yang tidak terkendali: ​Untuk mengatasi puncak bisnis siklus (seperti promosi besar, acara), platform data besar tradisional (seperti Hadoop yang dibangun sendiri) perlu mengonfigurasi sumber daya perangkat keras sesuai dengan permintaan puncak, yang mengakibatkan sebagian besar sumber daya menganggur sepanjang waktu dan biayanya sangat tinggi.
  • ​Keterbatasan kinerja:Proses ETL tradisional sangat rumit dan memakan waktu lama. Dari memasukkan data ke dalam database hingga menghasilkan laporan, prosesnya biasanya memakan waktu T+1 hari, sehingga tidak dapat memenuhi kebutuhan bisnis akan wawasan data secara real-time. Akibatnya, keputusan selalu terlambat dibuat.
  • ​Arsitekturnya rumit, dan operasi serta pemeliharaannya sangat memakan waktu:Untuk menjaga stabilitas operasi dari seluruh cluster data besar (HDFS, Hive, Spark, Presto), dibutuhkan banyak tenaga kerja profesional dalam operasi dan pemeliharaan, serta memiliki batasan teknis yang tinggi dan kesulitan dalam mengidentifikasi dan memecahkan masalah.

​Jika Anda sedang kesulitan dengan masalah di atas, maka artikel ini akan memberi Anda solusi lengkap berdasarkan Tencent Cloud Native Data Lake Warehouse, yang memungkinkan analisis data real-time tingkat PB secara efisien, ekonomis, dan terpadu.​

​ Diagram arsitektur solusi dan ikhtisar.​

​Diagram arsitektur.

Solusi analisis data real-time tingkat PB: Praktik arsitektur berdasarkan Data Lake Warehouse asli Tencent Cloud - LikaCloud.

Rangkuman: ​​

Inti dari rencana ini adalah ...\n​“Pemisahan penyimpanan dan komputasi”​\n​ Dan ​\n​“Manajemen metadata terpadu”​Semua data asli disimpan secara terpusat dalam sistem yang sangat andal dan berbiaya rendah.Tencent Cloud Object Storage (COS)Ini menjadi dasar dari Data Lake.Komputasi Danau Data (DLC)Sebagai otak, bertanggung jawab untuk manajemen metadata terpadu, kontrol akses, dan tata kelola data, tanpa perlu membangun Hive Metastore sendiri.Elastic MapReduce (EMR)Sebagai mesin komputasi yang kuat, klaster dapat diaktifkan sesuai permintaan, dan data dalam COS dapat dianalisis langsung melalui kerangka kerja komputasi standar seperti Spark dan Presto. Setelah tugas selesai, sumber daya dapat dibebaskan. Akhirnya, hasil analisis dapat langsung digunakan oleh alat BI, aplikasi data, atau platform AI.

​Proposisi nilai:Program ini sempurna mengatasi kesulitan yang disebutkan di awal, dengan mengurangi biaya penyimpanan dan komputasi melalui pemisahan penyimpanan dan komputasi, memecahkan masalah silo data dengan metadata terpadu, melakukan analisis cepat dengan mesin komputasi Serverless yang fleksibel, dan meminimalkan kompleksitas operasi dan pemeliharaan.

​Detail produk dan komponen inti​

  • Nama komponen: ​\n​ ​Tencent Cloud Object Storage (COS)​
    • ​Memainkan peran:Seluruh arsitektur dariLayanan penyimpanan data permanen.Menyimpan semua data asli, data yang telah diproses, dan hasil perhitungan.
    • Konfigurasi kunci/saran pemilihan: ​Menggunakan data panas yang perlu dianalisis secara sering.Penyimpanan standar.Untuk data dingin yang diarsipkan, gunakanPenyimpanan arsip.Menggunakan strategi siklus hidup untuk konversi otomatis, memaksimalkan penghematan biaya.
    • Mengapa memilihnya: ​Menyediakan kapasitas tak terbatas dan keandalan data 99,999999999%, ini merupakan basis ideal untuk membangun data lake. Terintegrasi secara mulus dengan EMR dan DLC, dengan optimasi kinerja yang sangat baik.
  • ​Nama komponen: ​\n​ ​Komputasi Danau Data (DLC)​
    • ​Memainkan peran:Arsitektur dari\n​“Otak cerdas”​Menyediakan manajemen metadata terpadu, izin data dan kontrol akses, katalog data SQL, dan layanan kueri interaktif tanpa server.
    • Konfigurasi kunci/saran pemilihan: ​\n​ Gunakan langsung mode Serverless, tanpa perlu menyiapkan sumber daya terlebih dahulu. Dengan fitur direktori datanya, Anda dapat dengan mudah menghubungkan data di COS dan mendefinisikan struktur tabel.
    • Mengapa memilihnya: ​Ini sepenuhnya mengatasi masalah pulau metadata. EMR, alat BI, dan lain-lain dapat mengakses tampilan metadata terpadu melalui DLC, sehingga memungkinkan manajemen konsisten atas izin dan struktur tabel. Fitur Serverless Spark-nya bahkan dapat melakukan pengiriman tugas Spark secara otomatis, yang sangat memudahkan operasi dan pemeliharaan.
  • ​Nama komponen: ​\n​ ​Elastic MapReduce (EMR)​
    • Memainkan peran:\n​ IntinyaEngin komputasi elastisTanggung jawabnya termasuk menjalankan tugas-tugas pemrosesan data skala besar (seperti ETL, kueri interaktif, dan pembelajaran mesin).
    • ​Konfigurasi kunci/saran pemilihan: ​\n​ PilihPay-as-you-go和Skalabilitas elastis.Model ini secara otomatis mengukur dan menyesuaikan ukuran node Tugas berdasarkan beban CPU/memori. Pilih penyebaran di wilayah yang sama dengan COS dan DLC untuk mendapatkan kinerja terbaik.
    • ​Mengapa memilihnya: ​Ini menyediakan kemampuan full-stack untuk ekosistem data besar open-source (Hadoop, Spark, Presto, Hbase, dll.), dan terintegrasi secara mendalam dengan Tencent Cloud, siap digunakan. Kemampuan elastisnya memastikan penggunaan sumber daya yang efisien, dengan hanya membayar untuk jumlah komputasi yang sebenarnya digunakan.

​Ringkasan kelebihan dari solusi tersebut.​

  • \n? Optimalisasi biaya yang ekstrem: ​Pemisahan penyimpanan dan komputasi, serta skalabilitas sumber daya komputasi sesuai kebutuhan, berbeda dengan klaster tetap yang dibangun sendiri secara tradisional.Biaya keseluruhan dapat dikurangi lebih dari 50%.。
  • ​⚡ Analisis yang efisien dan operasi dan pemeliharaan yang tangkas:Tanpa perlu migrasi data, EMR dapat menganalisis data COS secara langsung dengan kecepatan tinggi; DLC melakukan manajemen metadata secara terpadu,Membangun platform big data dalam hitungan menit.Hal tersebut mengakibatkan beban kerja operasi dan pemeliharaan berkurang sebesar 90%.
  • \n? Memecahkan silo data:Sebuah data disimpan di COS, dan dibagikan dan dianalisis oleh berbagai mesin komputasi (EMR, Cloud Functions, dll.) melalui tampilan terpadu DLC, sehingga benar-benar terrealisasi.Akses data yang inklusif.。
  • ?️ Tata kelola keamanan tingkat perusahaan:DLC menyediakan kontrol akses data tingkat kolom dan terintegrasi secara mulus dengan CAM.Log audit.Lengkap, memenuhi persyaratan keamanan dan kepatuhan data perusahaan.

​Scenario aplikasi dan klien yang cocok​

  • Scenario aplikasi khas: ​​
    • Kueri ad-hoc interaktif:Analis data menggunakan Presto/Spark SQL untuk melakukan kueri cepat terhadap data historis dalam jumlah besar secara langsung melalui DLC, dan mendapatkan hasilnya secara instan.
    • Analisis log secara real-time:Log bisnis ditulis secara real-time ke COS/Kafka, dan dianalisis secara near-real-time menggunakan EMR Streaming atau Spark Streaming untuk memantau status bisnis.
    • Pembelajaran mesin dan penambangan data:Menggunakan Spark pada cluster k8s dengan EMR, langsung membaca data pelatihan di COS, dan melakukan pelatihan model skala besar.
  • Karakteristik pelanggan yang berlaku: ​​
    • Jumlah data sudah mencapaiDari tingkat TB hingga tingkat PB.Dan perusahaan tradisional serta perusahaan internet yang terus berkembang.
    • Sangat disukaiMemperluas kapasitas gudang data tradisional itu mahal, dan sering kali mengalami keterbatasan kinerja.Tim yang terganggu.
    • HarapanMengintegrasikan beberapa sumber data.Pelanggan yang membutuhkan pandangan data terpadu untuk perusahaan mereka.
    • Tim berharapFokus pada pengembangan data bisnis daripada pengoperasian dan pemeliharaan infrastruktur dasar.。

​Tautan terkait.​

Tag: