Solución del sistema de picos CKafka de Tencent Cloud: Pico de llenado asincronizado, fácil de transportar miles de millones de pedidos

Introducción (análisis de los puntos débiles)​

Como arquitecto o desarrollador de una plataforma de comercio electrónico, ¿está ansioso por el gran pico de promociones de cada año? Cuando el reloj marca el cero, un gran número de usuarios al instante afluencia, si su sistema se enfrenta a los siguientes retos graves:

• -Pulsaciones de flujo, caída del sistema.El tráfico instantáneo es cien o incluso mil veces superior al de los días laborables, los pools de conexiones a bases de datos se agotan y la CPU/IO del servidor se dispara a 1001 TP3T, lo que provoca directamente atascos en las páginas y caídas del servicio.
• -La sobreventa es incoherente con los datos.En condiciones de alta concurrencia, la lógica tradicional de deducción de inventario es muy propensa a sufrir problemas de concurrencia, lo que provoca que el inventario se vuelva negativo (sobreventa), lo que perjudica gravemente la reputación de la empresa y la experiencia del usuario.
• -Bloqueo de la sincronización y lentitud de respuesta.La solicitud de pedido del usuario debe sincronizarse para completar la comprobación del inventario, la creación del pedido, la inicialización del pago y otras operaciones que consumen mucho tiempo, cualquiera de los bloqueos provocará que los usuarios esperen a que se agote el tiempo de espera y aumente la tasa de rotación.

Si tiene problemas conCómo hacer frente de forma fluida, fiable y eficaz a segundos masivos de solicitudes simultáneasY con problemas, entonces la solución asíncrona de reducción de picos de Tencent Cloud basada en la cola de mensajes CKafka le proporcionará una práctica recomendada completa y escalable.

​Esquema y visión general de la arquitectura de la solución​

El núcleo de este programa es“Ahorro de picos por capas y desacoplamiento asíncrono”.. Separe la solicitud de pedido instantánea del usuario del complejo procesamiento empresarial en el back-end, y suavice los pulsos de tráfico utilizando la cola de mensajes CKafka como potente buffer pool para garantizar la estabilidad del sistema central.

​Diagrama de arquitectura.

Resumen del flujo de trabajo.​

1. Solicitar acceso.Las solicitudes de picos de usuario pasan primero por el enlace de aceleración global y se distribuyen mediante el equilibrio de carga CLB a varios servidores frontales de negocio.
2. Precalibración.El servidor front-end (CVM/EKS) realiza lógicas ligeras como la elegibilidad del usuario, la validación de parámetros y la consulta rápida de los saldos de inventario a través de Redis. Una vez superada la validación, la información del pedido se utiliza como cuerpo del mensajeEscritura inmediata en CKafkaY responder rápidamente a los usuarios “en cola”.
3. Picando en los picos y valles.Los clústeres CKafka se encargan de todo el tráfico transitorio con su alto rendimiento y persistencia, lo que permite un recorte perfecto del tráfico.
4. Consumo asíncrono.La función de nube descendente SCF o microservicio elástico TEM actúa como consumidor, extrayendo mensajes de CKafka a un ritmo controlado y ejecutando sin problemas las operaciones finales de coherencia, como la deducción de inventario y la entrega de pedidos.
5. Persistencia de datos.Tras el procesamiento, los resultados se escriben en la base de datos en la nube (MySQL/CynosDB) y se actualiza el estado de la caché en Redis.

​Productos básicos y componentes​

montajes	desempeñar un papel	Principales recomendaciones de configuración y selección	Por qué elegirlo
​Colas de mensajes CKafka​	​búfer central del sistemaasumiendo el papel clave de la reducción de picos y el desacoplamiento.	Opciones sugeridasespecificación de alto nivelEl número de particiones debe ser mayor que el número de consumidores para mejorar el consumo simultáneo.	Con un rendimiento y una escalabilidad extremadamente altos, compatible con el ecosistema Kafka, integración perfecta de varios tipos de herramientas de big data, servicios gestionados sin mantenimiento.
​Servidor en nube CVM / Elastic Container Service EKS​	​Procesamiento de lógica empresarial front-endque se encarga de la validación de las solicitudes, la generación de tokens y la producción de mensajes.	adopciónfacturación volumétricay emparejado conGrupo de estiramiento elástico (AS)Se amplía y reduce automáticamente en función de la presión de la CPU.	Proporciona una potencia informática estable y fiable, y el escalado elástico garantiza que los recursos se ajusten automáticamente antes y después del pico, lo que se traduce en un importante ahorro de costes.
​Base de datos en nube Redis​	​Caché de datos en calientealmacenamiento del inventario de segundos, listas negras de usuarios, límites de frecuencia, etc.	opciónbasado en la memoriaespecificaciones.Activar la persistencia; Utiliza scripts Lua para asegurar la deducción atómica del inventario.	El funcionamiento de la memoria con un único subproceso y un rendimiento muy elevado (10W+ QPS) es una gran herramienta para hacer frente a lecturas y escrituras altamente concurrentes.
​Función de nube SCF​	​consumidor de tareas asíncronasextrae mensajes de CKafka y se encarga de la lógica central de ordenación.	razonableejecuciones simultáneasYNúmero de mensajes procesados por lotespara evitar sobrecargar la base de datos posterior.	​basado en eventosCon la arquitectura sin servidor, escala automáticamente hacia arriba y hacia abajo en función del volumen de acumulación de mensajes, realizando un verdadero pago por uso y sin mantenimiento.
​Base de datos en nube TencentDB para MySQL/TDSQL-C​	​Almacenamiento final de datosalmacenamiento permanente de pedidos, productos y otra información.	adopciónEdición de alta disponibilidadtanto queEdición Enterprise de tres nodosque garantiza la coherencia de los datos; se recomienda utilizarseparación lectura-escrituraArquitectura.	TDSQL-C (CynosDB), que proporciona servicios de base de datos de alta disponibilidad y rendimiento, es especialmente adecuado para escenarios de escritura concurrente masiva con una excelente relación precio/rendimiento.
​Equilibrio de carga CLB​	​punto único de entrada del tráficoque permite la distribución del tráfico y una alta disponibilidad.	opciónVersión de alto rendimientosoporta conexiones concurrentes masivas.	Elimine los puntos únicos de fallo y garantice una alta disponibilidad en la capa de acceso.
​Cortafuegos de aplicaciones web WAF​	​vigilante de seguridad, defenderse de los ataques CC, de los deslizamientos malintencionados y de otros comportamientos.	configureProtección CC precisanormas yverificación persona-ordenadorpolíticas, cargadas por adelantado para filtrar el tráfico malicioso.	Intercepta la gran mayoría de los ataques antes de que el tráfico entre en el sistema de la empresa, salvaguardando la imparcialidad de la campaña y la seguridad de la empresa.

​Resumen de los beneficios del programa​

• ⚡ La experiencia de usuario definitiva.Respuesta rápida a las solicitudes de los usuarios (milisegundos), sin necesidad de esperar mucho tiempo, sin retrasos en el sistema y con un proceso de pedido fluido.
• ​? ️ Alta disponibilidad y estabilidad del sistema.El sistema back-end está desacoplado de los picos de tráfico, y la presión de la base de datos y el servicio es siempre fluida, lo que evita por completo el tiempo de inactividad por sobrecarga.
• ? Escalado flexible para optimizar los costes.Todos los componentes son escalables elásticamente, lo que elimina la necesidad de adquirir grandes cantidades de recursos ociosos para los picos de tráfico y reduce significativamente los costes de operación y mantenimiento de TI.
• ? Coherencia final de los datos.Con colas de mensajes y una lógica de consumo fiable, garantiza que los datos para la deducción de inventarios y la generación de pedidos sean coherentes en última instancia en condiciones de alta concurrencia, eliminando la sobreventa.
• ? ️ Arquitectura desacoplada, flexible y escalable.Las responsabilidades de cada módulo están claras, y la futura ampliación de nuevas funciones (como la deducción de puntos o la notificación por SMS) sólo requiere añadir nuevos consumidores, sin cambiar el proceso principal.

​Escenarios de aplicación y clientes aplicables​

• Escena típica.618, doble 11, doble 12 y otras grandes actividades promocionales de la plataforma de comercio electrónico; fiebre por el debut de nuevos productos; lugares populares del sistema de venta de entradas para hacerse con ellas.
• Clientes aplicables.​
  • Todas las empresas de Internet que se enfrentan a avalanchas de tráfico cíclicas o previsibles.
  • Un PV medio diario de más de un millón, un rápido crecimiento del negocio, la necesidad de una arquitectura altamente flexible de la plataforma de comercio electrónico.
  • Equipo técnico que busca migrar de un sistema de picos autoconstruido y difícil de mantener a una arquitectura nativa en la nube totalmente alojada y altamente fiable.

​Enlaces relacionados