PB düzeyinde verinin gerçek zamanlı analizi çözümü: Tencent Cloud'un yerel veri gölü depolama alanına dayalı mimari uygulaması

Giriş (acil sorun analizi)

Bir veri mühendisi veya mimar olarak, aşağıdaki sorunlarla uğraşıyor musunuz?

Veri adaları ve yönetim zorlukları:İş verileri, MySQL, Kafka, günlük dosyaları, CSV gibi düzinelerce veri kaynağı arasında dağılmıştır ve her birinin farklı bir biçimi vardır. Bu da, verileri tek bir yerde toplamayı ve veri kalitesini sağlamayı zorlaştırır.
Maliyet kontrolden çıktı:Dönemsel iş yoğunluklarına (örneğin, büyük indirimler, etkinlikler) yanıt vermek için, geleneksel büyük veri platformları (örneğin, kendi Hadoop'unuzu oluşturmak) zirve talebe göre donanım kaynaklarını yapılandırmak zorundadır, bu da çoğu zaman kaynakların boşta kalmasına ve yüksek maliyetlere neden olur.
Performans darboğazı:Geleneksel ETL süreci karmaşık ve uzundur. Verilerin depolanmasından raporların çıktısına kadar süreç genellikle T+1 gün sürer ve bu da işletmelerin gerçek zamanlı veri anlayışına olan acil ihtiyacını karşılamaz, karar verme süreci her zaman bir adım geride kalır.
Yapısı karmaşık ve bakımı zahmetli: Bir büyük veri kümesinin (HDFS, Hive, Spark, Presto) stabil çalışmasını sağlamak için çok sayıda profesyonel işletme ve bakım personeline ihtiyaç vardır. Teknik engeller yüksektir ve arızaları gidermek zordur.

Eğer yukarıdaki sorunlarla uğraşıyorsanız, bu makale size Tencent Cloud'un yerel veri gölü depolama alanına dayalı kapsamlı bir çözüm sunacak ve verilerin verimli, ekonomik ve birleşik bir şekilde PB seviyesinde gerçek zamanlı analizini sağlayacaktır.

Çözüm mimarisi ve genel bakış.

Arşitektonik çizimler.

PB düzeyinde verinin gerçek zamanlı analizi çözümü: Tencent Cloud'un yerel veri gölü depolama alanına dayalı mimari uygulaması - LikaCloud

Özet:

Bu planın merkezi noktası,“Depolama ve hesaplama ayrımı”ve“Bütünleşik meta veri yönetimi”Tüm orijinal veriler, yüksek güvenilirlik ve düşük maliyetle birlikte tek bir yerde depolanır.Tencent Cloud Nesne Depolama (COS)Veri gölü oluşturmanın temel taşıdır.Veri gölü hesaplaması (DLC)Bir beyin olarak, bütünleşik meta veri yönetimi, izin kontrolü ve veri yönetimi sorumluluğunu üstlenir ve Hive Metastore'u kendiniz oluşturmanıza gerek kalmaz.Esnek MapReduce (EMR)Güçlü bir hesaplama motoru olarak, ihtiyaç duyulduğunda küme oluşturur ve standart Spark, Presto vb. hesaplama çerçeveleri aracılığıyla COS'taki verileri doğrudan analiz eder. Görev tamamlandığında kaynaklar serbest bırakılır. Sonuçta, analiz sonuçları BI araçları, veri uygulamaları veya AI platformları tarafından doğrudan kullanılabilir.

Değer teklifi:Bu çözüm, girişte belirtilen sorunları mükemmel bir şekilde çözer. Depolama ve hesaplama maliyetini azaltmak için depolama ve hesaplama ayrımı sağlar, veri adalarını parçalamak için birleşik meta veriler kullanır, hızlı analiz için esnek Serverless hesaplama motorunu kullanır ve işletme ve bakım karmaşıklığını en aza indirir.

Temel ürün ve bileşenlerin ayrıntılı açıklaması.

Bileşen adı:\n Tencent Cloud Nesne Depolama (COS)
- Rol yapmak:Tüm mimarininKalıcı depolama katmanı.Tüm orijinal verileri, işlenmiş verileri ve hesaplama sonuçlarını depolayın.
- Önemli yapılandırma/seçim önerileri:Sık sık analiz edilmesi gereken sıcak veriler içinStandard depolama.Arşivlenmiş soğuk veriler içinArşiv depolama.Yaşam döngüsü stratejisini kullanarak otomatik dönüştürme yapın ve maliyet tasarrufunu en yükseğe çıkarın.
- Neden onu seçtin?Sınırsız kapasite ve ,9999999991'lik veri güvenilirliği, veri gölü oluşturmak için ideal bir temeldir. EMR ve DLC ile sorunsuz bir şekilde entegre olur ve mükemmel bir performans optimizasyonu sağlar.
Bileşen adı:\n Veri gölü hesaplaması (DLC)
- Rol yapmak:Arşitektürün.İnteligent beyin.Birleşik meta veri yönetimi, veri izinleri ve erişim kontrolü, SQL veri kataloğu ve sunucusuz etkileşimli sorgu hizmeti sunar.
- Önemli yapılandırma/seçim önerileri:Serverless modunu doğrudan kullanarak kaynakları önceden ayarlamaya gerek kalmaz. Veri dizini özelliği sayesinde COS'taki verilere kolayca bağlanabilir ve tablo yapısını tanımlayabilirsiniz.
- Neden onu seçtin?Bu, meta veri adası sorununu tamamen çözer. EMR, BI araçları vb. DLC üzerinden birleşik bir meta veri görünümüne erişebilir ve izinlerin ve tablo yapısının tutarlı yönetimini sağlayabilir. Serverless Spark özelliği ise Spark işlerinin sorunsuz bir şekilde gönderilmesini sağlar ve işletme ve bakım işlemlerini büyük ölçüde basitleştirir.
Bileşen adı:\n Esnek MapReduce (EMR)
- Rol yapmak:ÇekirdekEsnek hesaplama motoru.Büyük ölçekli veri işleme görevlerinin (ETL, etkileşimli sorgular, makine öğrenimi gibi) yürütülmesinden sorumlu.
- Önemli yapılandırma/seçim önerileri:Seçim yapın.Kullanım miktarına göre ücretlendirme.和Esnek ölçeklenebilirlik.Model, CPU/bellek yüküne göre Task node'larını otomatik olarak ölçeklendirir. En iyi performansı elde etmek için COS ve DLC ile aynı bölgede dağıtılması önerilir.
- Neden onu seçtin?Açık kaynaklı büyük veri ekosistemi (Hadoop, Spark, Presto, Hbase vb.) için tüm katmanları kapsayan yetenekler sunar ve Tencent Cloud ile derinlemesine entegre edilerek kutudan çıkmaya hazırdır. Esneklik özelliği, kaynakların verimli kullanımını sağlar ve yalnızca gerçekten kullanılan hesaplama miktarı için ödeme yapmanıza olanak tanır.

Planın avantajlarının özeti

Çok uygun maliyet optimizasyonu:Depolama ve hesaplama ayrıdır, hesaplama kaynakları ihtiyaç duyulduğunda ölçeklendirilir. Geleneksel kendi kendini oluşturan sabit kümelerle karşılaştırıldığında,Toplam maliyet 1'den fazla azaltılabilir.。
⚡ Verimli analiz ve çevik işletme ve bakım:Veri taşıması gerekmiyor, EMR doğrudan COS verilerini yüksek hızda analiz edebiliyor; DLC birleşik meta veri yönetimi sağlıyor.Büyük veri platformunu dakika bazında oluşturma.İşletme ve bakım iş yükü 1 oranında azaldı.
Veri adalarını yok etmek:Bir veri COS'ta depolanır ve DLC'nin birleşik görünümü aracılığıyla çeşitli hesaplama motorları (EMR, bulut fonksiyonları vb.) tarafından paylaşılır ve analiz edilir, böylece gerçek anlamda bir entegrasyon sağlanır.Veri erişiminin herkes için olması gerekir.。
Şirket düzeyinde güvenlik yönetimi: DLC, sütun düzeyinde veri erişim kontrolü sağlar ve CAM ile sorunsuz bir şekilde entegre olur.Denetim günlüğü.Tamamlayıcıdır ve kurumsal veri güvenliği ve uyumluluk gereksinimlerini karşılar.

Uygulama senaryoları ve uygun müşteriler.

Tipik uygulama senaryoları:
- Etkileşimli anlık sorgu:Veri analistleri, Presto/Spark SQL'i kullanarak DLC üzerinden büyük miktarda tarihi veriye doğrudan hızlı bir şekilde erişir ve anlık sonuçlar alır.
- Gerçek zamanlı günlük analizi:İş günlükleri gerçek zamanlı olarak COS/Kafka'ya yazılır ve EMR Streaming veya Spark Streaming aracılığıyla neredeyse gerçek zamanlı olarak işlenip analiz edilir ve iş durumu izlenir.
- Makine öğrenmesi ve veri madenciliği:EMR'yi kullanan Spark on k8s kümesi, COS'taki eğitim verilerini doğrudan okur ve büyük ölçekli model eğitimi gerçekleştirir.
Uygun müşteri özellikleri:
- Veri miktarı zaten ulaştı.TB'den PB seviyesine kadar.Ve sürekli büyüyen geleneksel işletmeler ve internet şirketleri.
- Çok popüler.Geleneksel veri ambarlarının genişletilmesi pahalıdır ve performans engelleriyle karşılaşırlar.Sorunlarla karşı karşıya olan bir ekip.
- Umarım.Birden fazla veri kaynağını bütünleştirin.Şirketin birleşik veri görünümünü oluşturmak isteyen müşteriler.
- Takım, umut ediyor ki.Temel altyapı işletme ve bakımı yerine iş verilerinin geliştirilmesine odaklanın.。