Abb. Anfang/Verschreibung/Big Data & KI/Inhalt Details

Einführung (Schmerzpunktanalyse)​

Kämpfen Sie als Dateningenieur oder -architekt mit den folgenden Fragen?

  • Datensilos und Schwierigkeiten bei der Verwaltung.Geschäftsdaten sind in Dutzenden von Datenquellen wie MySQL, Kafka, Protokolldateien, CSV usw. mit unterschiedlichen Formaten verstreut, was eine einheitliche Verwaltung und die Gewährleistung der Datenqualität erschwert.
  • ​Die Kosten sind außer Kontrolle geraten.Zur Bewältigung zyklischer Geschäftsspitzen (z. B. große Werbeaktionen, Veranstaltungen) müssen herkömmliche Big-Data-Plattformen (z. B. selbstgebautes Hadoop) die Hardwareressourcen entsprechend der Spitzennachfrage konfigurieren, was dazu führt, dass die meiste Zeit ungenutzte Ressourcen vorhanden sind und hohe Kosten anfallen.
  • ​Engpässe bei der Leistung.Der herkömmliche ETL-Prozess ist komplex und langwierig, und es dauert oft T+1 Tage von der Dateneingabe bis zur Berichtsausgabe, was den dringenden Bedarf des Unternehmens an Echtzeit-Dateneinblicken nicht erfüllen kann, und die Entscheidungsfindung ist immer einen Schritt langsamer.
  • ​Komplexe Architektur und umfangreiche Betriebs- und Wartungsarbeiten.Die Aufrechterhaltung des stabilen Betriebs eines kompletten Big-Data-Clusters (HDFS, Hive, Spark, Presto) erfordert hohe Investitionen in professionelle Betriebs- und Wartungsmitarbeiter, eine hohe technische Schwelle und Schwierigkeiten bei der Fehlerbehebung.

​Wenn Sie mit den oben genannten Problemen zu kämpfen haben, finden Sie in diesem Artikel eine Komplettlösung, die auf dem Tencent Cloud Native Data Lake Warehouse basiert, um eine effiziente, kostengünstige und einheitliche Echtzeitanalyse von Petabytes an Daten zu erreichen.​

​ Diagramm und Überblick über die Lösungsarchitektur​

​Architekturdiagramm

Echtzeit-Analyselösung für Daten im PB-Maßstab: Architekturpraxis auf der Grundlage des nativen Data Lake Warehouse von Tencent Cloud - LikaCloud

Überblick.​

Der Kern dieses Programms ist“Trennung der Konten”im Gesang antworten“Einheitliche Verwaltung von Metadaten”. Alle Rohdaten werden einheitlich in dem äußerst zuverlässigen und kostengünstigenTencent Cloud Object Storage (COS)Sie bilden den Eckpfeiler des Data Lake.Data Lake Computing (DLC)Als Herzstück ist es für die einheitliche Verwaltung von Metadaten, die Kontrolle von Berechtigungen und die Datenverwaltung zuständig, so dass Sie keinen eigenen Hive-Metastore erstellen müssen.Elastisches MapReduce (EMR)Als leistungsstarke Rechen-Engine werden Cluster bei Bedarf herangezogen, um Daten in COS über Standard-Spark, Presto und andere Rechen-Frameworks direkt zu analysieren, wobei die Ressourcen freigegeben werden, sobald die Aufgabe abgeschlossen ist. Letztendlich können die Analyseergebnisse direkt von BI-Tools, Datenanwendungen oder KI-Plattformen genutzt werden.

​Wert-Angebot.Diese Lösung löst die in der Einleitung genannten Probleme perfekt, senkt die Kosten für Speicherung und Berechnung durch die Trennung von Speicherung und Berechnung, bricht Datensilos durch einheitliche Metadaten auf, ermöglicht schnelle Analysen durch die elastische Serverless-Computation-Engine und reduziert die Komplexität von Betrieb und Wartung auf ein Minimum.

​Kernprodukte und Komponenten​

  • Name der Komponente.​ ​Tencent Cloud Object Storage (COS)​
    • ​Die Rolle spielen.integrierte ArchitekturPersistente SpeicherschichtEs speichert alle Rohdaten, verarbeiteten Daten und Berechnungsergebnisse.
    • Wichtige Empfehlungen zur Konfiguration/Auswahl.Thermische Daten, die häufig analysiert werden müssen, werden mitStandard-SpeicherDie Verwendung von kalten Daten für die ArchivierungArchivierungsspeicherDie Lebenszyklusstrategie des Unternehmens zielt darauf ab, die Kosteneinsparungen zu maximieren, indem automatisch von einer Lebenszyklusstrategie zur nächsten gewechselt wird.
    • Warum wählen Sie es?Bietet eine unbegrenzte Kapazität und eine Datenzuverlässigkeit von 99,99999999999% und ist damit eine ideale Basis für den Aufbau von Data Lakes. Nahtlose, native Integration mit EMR und DLC für eine hervorragende Leistungsoptimierung.
  • ​Name der Komponente.​ ​Data Lake Computing (DLC)​
    • ​Die Rolle spielen.strukturiert“Intelligentes Gehirn”Es bietet eine einheitliche Metadatenverwaltung, Datenrechte und Zugriffskontrolle, einen SQL-Datenkatalog und interaktive Serverless-Abfragedienste.
    • Wichtige Empfehlungen zur Konfiguration/Auswahl.Verwenden Sie den Serverless-Modus direkt ohne vorgefertigte Ressourcen. Einfache Schnittstelle zu Daten auf COS und Definition von Tabellenstrukturen durch die Datenkatalogfunktion.
    • Warum wählen Sie es?EMR, BI-Tools usw. können über DLC auf die einheitliche Metadatenansicht zugreifen, um eine konsistente Verwaltung von Berechtigungen und Tabellenstrukturen zu erreichen. Die Serverless Spark-Fähigkeit ermöglicht die sinnlose Übermittlung von Spark-Aufträgen, wodurch Betrieb und Wartung erheblich vereinfacht werden.
  • ​Name der Komponente.​ ​Elastisches MapReduce (EMR)​
    • Die Rolle spielen.KernstückElastic Compute Engineverantwortlich für die Ausführung umfangreicher Datenverarbeitungsaufgaben (z. B. ETL, interaktive Abfragen, maschinelles Lernen).
    • ​Wichtige Empfehlungen zur Konfiguration/Auswahl.Optionvolumetrische Abrechnungundelastisch teleskopierend (d.h. flexibel)Modus, automatisches Hoch- und Runterskalieren der Task-Knoten je nach CPU-/Speicherlast. Optionen für den gemeinsamen Einsatz mit COS, DLC für optimale Leistung.
    • ​Warum wählen Sie es?Es bietet umfassende Funktionen des Open-Source-Big-Data-Ökosystems (Hadoop, Spark, Presto, Hbase usw.) und ist von Anfang an tief in die Tencent Cloud integriert. Seine Elastizitätsfähigkeit gewährleistet eine effiziente Ressourcennutzung, da nur für die tatsächlich genutzte Rechenleistung gezahlt wird.

​Zusammenfassung der Vorteile des Programms​

  • ? Extreme Kostenoptimierung.Trennung von Speicherung und Datenverarbeitung, bedarfsgerechte Skalierung der Datenverarbeitungsressourcen im Vergleich zu herkömmlichen selbstgebauten festen Clustern.Die Gesamtkosten können um mehr als 50% gesenkt werden.。
  • ​⚡ Effiziente Analytik und agile Betriebsabläufe.Keine Datenmigration erforderlich, EMR kann COS-Daten direkt und mit hoher Geschwindigkeit analysieren; DLC einheitliches Metadatenmanagement, dasAufbau von Big-Data-Plattformen im MinutentaktDie Arbeitsbelastung für O&M sank um 90%.
  • ? Aufbrechen von Datensilos.Eine Kopie der Daten wird im COS gespeichert und von mehreren Recheneinheiten (EMR, Cloud-Funktionen usw.) über eine einheitliche Ansicht des DLC gemeinsam genutzt und analysiert, wodurch dieEinbeziehung von Daten。
  • ? ️ Sicherheitsmanagement auf Unternehmensebene.Der DLC bietet eine Kontrolle der Datenrechte auf Spaltenebene und eine nahtlose Integration mit CAM.Audit-ProtokollVollständige Erfüllung der Anforderungen des Unternehmens an Datensicherheit und Compliance.

​Anwendungsszenarien und anwendbare Kunden​

  • Typische Anwendungsszenarien.​
    • Interaktive Sofortabfrage.Datenanalysten verwenden Presto/Spark SQL, um schnelle Abfragen von umfangreichen historischen Daten direkt über DLC durchzuführen und sofortige Ergebnisse zu erhalten.
    • Protokollanalyse in Echtzeit.Geschäftsprotokolle werden in Echtzeit in COS/Kafka geschrieben und von EMR Streaming oder Spark Streaming für eine nahezu Echtzeitverarbeitung zur Überwachung des Geschäftsstatus analysiert.
    • Maschinelles Lernen und Data Mining.Verwenden Sie EMR's Spark auf dem k8s-Cluster, um Trainingsdaten direkt aus COS für ein umfangreiches Modelltraining zu lesen.
  • Anwendbare Kundenmerkmale.​
    • Das Datenvolumen hat dieTB bis PB-Ebeneund nachhaltiges Wachstum von traditionellen und Internet-Unternehmen.
    • erhalten in nicht geringem MaßeTeure Skalierung und Leistungsengpässe in herkömmlichen Data WarehousesUnruhiges Team.
    • WunschIntegration von mehreren DatenquellenKunden, die eine einheitliche Sicht auf die Daten ihres Unternehmens aufbauen wollen.
    • Team HoffnungKonzentration auf die Entwicklung von Geschäftsdaten und nicht auf den Betrieb und die Wartung der zugrunde liegenden Infrastruktur。

​Verwandte Links​

Tags.