Introducción (análisis de los puntos débiles)
Estimados desarrolladores y arquitectos, ¿se enfrentan a los siguientes problemas?
A medida que su negocio crece a pasos agigantados y su base de usuarios supera la barrera de los mil millones de dólares, los sistemas de recomendación tradicionales empiezan a quedarse cortos. Las recomendaciones offline por lotes se actualizan con lentitud y no captan las opiniones de los usuarios.Interés en tiempo real; ante picos repentinos de tráfico, la latencia de respuesta del sistema se dispara y la experiencia del usuario cae en picado; al mismo tiempo, la biblioteca de mercancías a todo volumen en elRecuperación masiva de conjuntos de candidatosYClasificación precisaLa lentitud y duración de los procesos informáticos se ha convertido en un cuello de botella para el crecimiento de las empresas.
Si tiene problemas conPuntualidad recomendada, escalabilidad del sistema y alto rendimiento de concurrenciay la ansiedad, entonces, Tencent Cloud ha preparado para usted este conjunto de basado en labase de datos vectorialYcálculo en líneaLa arquitectura de recomendación en milisegundos será su mejor opción.
Esquema y visión general de la arquitectura de la solución
Las ideas centrales del diseño de este programa son.Se utiliza el procesamiento de flujos en tiempo real para captar los intereses instantáneos de los usuarios, y bases de datos vectoriales de alto rendimiento para lograr una recuperación de similitudes a nivel de milisegundos y, en última instancia, hacer recomendaciones precisas integrando los intereses a largo y corto plazo.
Una imagen vale más que mil palabras, y aquí hay un diagrama arquitectónico de la solución que muestra claramente el flujo de datos en concierto con los componentes principales:
El flujo de trabajo es el siguiente:
- Adquisición en tiempo real.Los datos de comportamiento generados por los usuarios en el front-end (por ejemplo, clics, visualizaciones, favoritos) se capturan en tiempo real y se envían a la base de datos.TDMQ RocketMQcolas de mensajes para la reducción de picos y el desacoplamiento.
- Procesamiento en tiempo real. Streaming informático Oceanusconsumen datos en la cola de mensajes, realizan la extracción de características en tiempo real, la agregación, e invocan modelos de inferencia rápida para generar laVectores de interés en tiempo real。
- Búsqueda vectorial.Tanto los vectores en tiempo real del usuario como los vectores de elementos preprocesados se almacenan en la base de datosBase de datos vectorial en la nube de Tencenten. Cuando se necesita una recomendación, la aplicación empresarial lanza una consulta directamente a la base de datos vectorial, que devuelve una colección de los artículos más similares en cuestión de milisegundos.
- Pedestales de datos y modelización. TBDS/DatosLa plataforma de macrodatos se encarga de la limpieza de datos offline, la integración y la construcción de perfiles de usuario a largo plazo.TI-ONEA continuación, la plataforma de aprendizaje automático se utiliza para entrenar y generar modelos de recomendación de aprendizaje profundo de alta calidad, proporcionando soporte de modelo para el cálculo y la vectorización en tiempo real.
- Integración empresarial.La lógica de negocio de las recomendaciones (por ejemplo, reglas de filtrado y clasificación) se despliega en el móduloCVMEn la parte superior, todo tipo de servicios se invocan de forma segura y a gran velocidad a través de la intranet, y las recomendaciones finales se devuelven al usuario.
La arquitectura resuelve perfectamente el problema planteado en la introducción deTiempo real, escalabilidad y rendimientoTres grandes puntos débiles.
Productos básicos y componentes
| montajes | desempeñar un papel | Principales recomendaciones de configuración y selección | Por qué elegirlo |
|---|---|---|---|
| Base de datos vectorial en la nube de Tencent (Tencent Cloud VectorDB) | El núcleo del sistema, que se encarga de almacenar todos los artículos y vectores de usuario y de proporcionar la búsqueda aproximada por vecino más próximo (RNA) en milisegundos.。 | opciónTipos de instancias de alto rendimiento, seleccione la especificación adecuada en función de la cantidad de datos (nivel de mil millones/diez mil millones). Selección del tipo de índiceHNSWen busca de un rendimiento extremo. | Optimizado para la búsqueda vectorialel rendimiento supera con creces el de las soluciones tradicionales de bases de datos. Admite cientos de miles de millones de vectores con un solo índice.99.99% Alta disponibilidadEl sistema no requiere mantenimiento, lo que reduce enormemente los costes de desarrollo y mantenimiento. |
| Streaming informático Oceanus | cerebro computacional en tiempo real, que se encarga de consumir los flujos de comportamiento de los usuarios, realizar el cálculo de características en tiempo real y generar vectores de usuario. | opciónVersión de FlinkSeleccione el número de CU (unidades de cálculo) en función del caudal de datos. ActivarPunto de controlGarantía funcional de coherencia de estado. | Servicio Apache Flink totalmente gestionadoProporciona una latencia de procesamiento inferior al segundo y una gran capacidad de rendimiento. No es necesario preocuparse por el funcionamiento y el mantenimiento de los clústeres, sino centrarse en el desarrollo de la lógica empresarial. |
| Cola de mensajes TDMQ (Edición RocketMQ) | El centro neurálgico del sistemaSe encarga de asumir todos los datos de comportamiento de los usuarios en tiempo real y de almacenar y desacoplar los sistemas anteriores y posteriores. | opciónRocketMQ 5.xEl número de particiones temáticas debe coincidir con el número de consumidores simultáneos para garantizar el rendimiento. | capaz de cumplir (condiciones o requisitos)Rendimiento extremo y baja latenciaEl sistema es totalmente compatible con el ecosistema Apache RocketMQ y puede conectarse sin problemas a los sistemas existentes. Totalmente compatible con el ecosistema Apache RocketMQ , conexión sin fisuras con los sistemas existentes . |
| Plataforma de macrodatos WeData/TBDS | piedra angular de los datos, responsable de la ETL de datos fuera de línea, la gestión de la calidad de los datos y la construcción de perfiles de usuario a largo plazo. | utilizarWeDataRealice el desarrollo de datos y la programación de tareas utilizandoTBDSAlmacenamiento y cálculo de datos a gran escala. | ofertaCapacidad integral de gobernanza de datosEl objetivo es garantizar que los datos introducidos en el modelo y en el sistema en tiempo real sean precisos y fiables, garantizando la eficacia de las recomendaciones en su origen. |
| Plataforma de aprendizaje automático TI-ONE | El motor de los algoritmos de recomendaciónque se utiliza para entrenar y desplegar modelos de aprendizaje profundo, como modelos de doble torre, DNN, etc., para generar vectores de alta calidad. | utilizarCuadernoRealice experimentos de características y modelos utilizandoPlataforma de formaciónRealice un entrenamiento distribuido masivamente utilizandoservicio de modeladoRealice la implantación con un solo clic. | proporcionar información deSoporte completo del proceso, desde la ingeniería de características hasta los servicios de modelosCuenta con diversos marcos algorítmicos y componentes de optimización incorporados, lo que mejora notablemente la eficacia de la I+D de los ingenieros de algoritmos. |
| Servidor en nube CVM y red privada VPC | Portador de lógica empresarialque se utiliza para desplegar aplicaciones empresariales como servicios API de recomendación, servicios de políticas, etc. | CVMSeleccione Compute Optimised. Todos los componentes se despliegan en elLa misma VPC en la misma zona geográficadentro de la red para garantizar la menor latencia de red y las comunicaciones más seguras. | VPCDotar a todos los productos en nube de unEntorno de intranet aislado, seguro y de alta velocidadEs la base para garantizar el alto rendimiento y la seguridad de todo el sistema. |
Resumen de los beneficios del programa
- ⚡ Respuesta en milisegundos.Gracias a las extraordinarias prestaciones de recuperación de la base de datos vectorial en la nube de Tencent, el tiempo de recuperación recomendado se reduce a milisegundos y la experiencia del usuario es fluida como la seda.
- ? Expansión ilimitada.Los componentes de la arquitectura están distribuidos y pueden escalarse horizontalmente con facilidad para gestionar el crecimiento de millones a cientos de miles de millones de usuarios y objetos.
- ? Recomendaciones precisas.La combinación de cálculo en tiempo real y recuperación vectorizada puede reflejar las preferencias a largo plazo de los usuarios y captar también con agudeza los intereses en tiempo real, lo que mejora notablemente la precisión de las recomendaciones.
- ? Estable y fiable.Los servicios totalmente gestionados ofrecen conmutación por error automática y protección de alta disponibilidad, con una disponibilidad del sistema de hasta el 99,99% para la continuidad del negocio.
- ? Reduzca costes y aumente la eficiencia.La eliminación de las engorrosas operaciones de infraestructura y mantenimiento permite a los equipos de desarrollo y algoritmos centrarse más en la innovación empresarial, y el coste total de propiedad (TCO) se reduce drásticamente.
Escenarios de aplicación y clientes aplicables
- Escenarios típicos de aplicación.
- Plataforma de comercio electrónico.Recomendaciones personalizadas en tiempo real como “Adivina lo que te gusta” y “Ver y volver a ver” para aumentar el porcentaje de clics y el VGM.
- Plataforma de información de contenidos/vídeos cortos.Actualice rápidamente el contenido del flujo en función del comportamiento de navegación de los usuarios en tiempo real para aumentar la fidelidad y la permanencia de los usuarios.
- Aplicaciones de música/radio.Genera recomendaciones de próximas jugadas en tiempo real para una experiencia envolvente.
- Características de los clientes aplicables.
- Gran volumen de usuarios (más de un millón de actividades diarias), con graves problemas de rendimiento y escalabilidad.
- De empresa a resultados recomendadosactualidadExtremadamente exigente, con necesidad de información rápida sobre el comportamiento más reciente de los usuarios.
- El equipo técnico quería una arquitectura líder en el sector, pero deseabaReducción de la inversión en O&Mcentrándose en la lógica empresarial básica.
Enlaces relacionados
- Sitio web oficial del producto Tencent Cloud Vector Database.Averígüelo ahora
- Conozca Oceanus Streaming Computing
- Conozca ahora la cola de mensajes TDMQ (RocketMQ Edition).
- Infórmese ahora sobre la plataforma Big Data (WeData/TBDS)./ WeData 丨 TBDS
- Conozca hoy mismo la plataforma de aprendizaje automático TI-ONE
- Más información sobre servidores en nube CVM y redes privadas VPC. / CVM 丨 VPC
- Prueba gratuita de los productos en la nube de Tencent
- Documentación técnica de Message Queue TDMQ for RabbitMQ:Ver detalles
- Más soluciones de Big Data
Español