Solución de análisis de datos a escala PB en tiempo real: práctica de arquitectura basada en el almacén de lago de datos nativo de Tencent Cloud

Introducción (análisis de los puntos débiles)

Como ingeniero o arquitecto de datos, ¿se plantea las siguientes preguntas?

Silos de datos y dificultades de gobernanza.Los datos empresariales se encuentran dispersos en decenas de fuentes de datos como MySQL, Kafka, archivos de registro, CSV, etc., con diferentes formatos, lo que dificulta unificar la gestión y garantizar la calidad de los datos.
Los costes están fuera de control.Para hacer frente a los picos cíclicos de negocio (por ejemplo, grandes promociones, eventos), las plataformas tradicionales de big data (por ejemplo, Hadoop de construcción propia) necesitan configurar los recursos de hardware en función de los picos de demanda, lo que se traduce en recursos ociosos la mayor parte del tiempo y en costes elevados.
Cuellos de botella en el rendimiento.El proceso ETL tradicional es complejo y largo, y a menudo se tarda T+1 días desde la entrada de datos hasta la salida del informe, lo que no puede satisfacer la necesidad urgente de la empresa de conocer los datos en tiempo real, y la toma de decisiones siempre va un paso más lenta.
Arquitectura compleja y O&M pesado.Mantener el funcionamiento estable de un conjunto completo de clústeres de big data (HDFS, Hive, Spark, Presto) requiere una gran inversión en mano de obra profesional de operación y mantenimiento, un umbral técnico elevado y dificultades para la resolución de problemas.

Si está luchando con los problemas anteriores, entonces este artículo le proporcionará una solución completa basada en Tencent Cloud Native Data Lake Warehouse para lograr un análisis eficiente, rentable y unificado en tiempo real de petabytes de datos.

Esquema y visión general de la arquitectura de la solución

diagrama de arquitectura

Solución de análisis de datos a escala PB en tiempo real: práctica de arquitectura basada en el almacén de lago de datos nativo de Tencent Cloud - LikaCloud

Visión general.

El núcleo de este programa es“Segregación de cuentas”responder cantando“Gestión unificada de metadatos”. Todos los datos brutos se depositan de manera uniforme en elAlmacenamiento de objetos en la nube de Tencent (COS)que constituye la piedra angular del lago de datos.Computación de lagos de datos (DLC)Como cerebro, es responsable de la gestión unificada de metadatos, el control de permisos y la gobernanza de datos, eliminando la necesidad de construir su propio Hive Metastore.MapReduce elástico (EMR)Como potente motor informático, los clústeres se activan bajo demanda para analizar directamente los datos en COS a través de Spark estándar, Presto y otros marcos informáticos, liberando los recursos cuando se completa la tarea. En última instancia, los resultados del análisis pueden ser consumidos directamente por herramientas de BI, aplicaciones de datos o plataformas de IA.

Propuesta de valor.Esta solución resuelve a la perfección los puntos débiles de la introducción, reduce los costes de almacenamiento y computación mediante la separación almacenamiento-computación, rompe los silos de datos mediante metadatos unificados, consigue análisis rápidos mediante el motor de computación elástico Serverless y reduce la complejidad de O&M al mínimo.

Productos básicos y componentes

Nombre del componente. Almacenamiento de objetos en la nube de Tencent (COS)
- Interpretar el papel.arquitectura integradaCapa de almacenamiento persistenteEl sistema almacena todos los datos brutos, los procesados y los resultados de los cálculos.
- Principales recomendaciones de configuración/selección.Los datos térmicos que requieren análisis frecuentes se analizan medianteAlmacenamiento estándarEl uso de datos fríos para archivaralmacenamiento de archivosLa estrategia de ciclo de vida de la empresa está diseñada para maximizar el ahorro de costes pasando automáticamente de una estrategia de ciclo de vida a la siguiente.
- Por qué elegirlo.Proporciona una capacidad ilimitada y una fiabilidad de los datos del 99,99999999999%, lo que la convierte en la base ideal para crear lagos de datos. Se integra perfectamente de forma nativa con EMR y DLC para una excelente optimización del rendimiento.
Nombre del componente. Computación de lagos de datos (DLC)
- Interpretar el papel.estructurado“Cerebro inteligente”Proporciona gestión unificada de metadatos, derechos de datos y control de acceso, catálogo de datos SQL y servicios de consulta interactiva sin servidor.
- Principales recomendaciones de configuración/selección.Utiliza el modo Serverless directamente sin recursos preconstruidos. Interactúe fácilmente con datos en COS y defina estructuras de tablas mediante su función de catálogo de datos.
- Por qué elegirlo.Resuelve por completo el problema de los silos de metadatos. Las herramientas EMR, BI, etc. pueden acceder a la vista unificada de metadatos a través de DLC para lograr una gestión coherente de los permisos y las estructuras de tablas. Su capacidad Serverless Spark permite el envío sin sentido de trabajos Spark, lo que simplifica enormemente el funcionamiento y el mantenimiento.
Nombre del componente. MapReduce elástico (EMR)
- Interpretar el papel.núcleoMotor informático elásticoresponsable de ejecutar tareas de procesamiento de datos a gran escala (por ejemplo, ETL, consultas interactivas, aprendizaje automático).
- Principales recomendaciones de configuración/selección.opciónfacturación volumétricaYtelescópica elástica (es decir, flexible)Modo de ampliación y reducción automática de los nodos de tareas en función de la carga de CPU/memoria. Opciones de despliegue coubicado con COS, DLC para un rendimiento óptimo.
- Por qué elegirlo.Ofrece todas las capacidades del ecosistema de big data de código abierto (Hadoop, Spark, Presto, Hbase, etc.) y está profundamente integrado con Tencent Cloud desde el primer momento. Su capacidad de elasticidad garantiza un uso eficiente de los recursos, pagando únicamente por la cantidad de computación realmente utilizada.

Resumen de los beneficios del programa

? Optimización extrema de costes.Separación almacenamiento-informática, escalado bajo demanda de los recursos informáticos, en comparación con los clústeres fijos autoconstruidos tradicionales.El coste global puede reducirse en más de 50%。
⚡ Analítica eficiente y operaciones ágiles.Sin necesidad de migración de datos, la REM puede analizar directamente los datos COS a gran velocidad; gestión unificada de metadatos DLC queCreación minuto a minuto de plataformas de macrodatosLa carga de trabajo de O&M se redujo en 90%.
? Romper los silos de datos.Una copia de los datos se almacena en el COS y es compartida y analizada por múltiples motores computacionales (EMR, funciones en la nube, etc.) a través de una vista unificada del DLC, lo que realmente hace posibleInclusión de datos。
? ️ Gobernanza de la seguridad a nivel de empresa.El DLC proporciona un control de los derechos de los datos a nivel de columna y una integración perfecta con CAM.Registro de auditoríaCompleto para cumplir los requisitos de seguridad y conformidad de los datos empresariales.

Escenarios de aplicación y clientes aplicables

Escenarios típicos de aplicación.
- Consulta instantánea interactiva.Los analistas de datos utilizan Presto/Spark SQL para realizar consultas rápidas sobre datos históricos masivos directamente a través de DLC y obtener resultados al instante.
- Análisis de registros en tiempo real.Los registros de negocio se escriben en COS/Kafka en tiempo real y se analizan mediante EMR Streaming o Spark Streaming para un procesamiento casi en tiempo real que permita supervisar el estado del negocio.
- Aprendizaje automático y minería de datos.Utilice Spark de EMR en el clúster k8s para leer los datos de entrenamiento directamente desde COS para el entrenamiento de modelos a gran escala.
Características de los clientes aplicables.
- El volumen de datos ha alcanzadoNivel TB a PBy el crecimiento sostenido de las empresas tradicionales y de Internet.
- reciben en no poca medidaEscalado costoso y cuellos de botella en el rendimiento de los almacenes de datos tradicionalesEquipo con problemas.
- desearIntegración de múltiples fuentes de datosClientes que están creando una visión unificada de los datos de su empresa.
- Equipo EsperanzaCentrarse en el desarrollo de datos empresariales en lugar de en las operaciones y el mantenimiento de la infraestructura subyacente.。