Página inicial/prescrição/Big Data e IA/Detalhes do conteúdo

Introdução (análise do ponto problemático)​

Caros desenvolvedores e arquitetos, vocês estão enfrentando os seguintes problemas?

À medida que sua empresa cresce aos trancos e barrancos e sua base de usuários ultrapassa a marca de um bilhão de dólares, os sistemas tradicionais de recomendação começam a ficar aquém do esperado. As recomendações off-line baseadas em lotes são lentas para serem atualizadas e não conseguem capturar as necessidades dos usuários.Juros em tempo realEm face de picos repentinos de tráfego, a latência de resposta do sistema aumenta e a experiência do usuário cai; ao mesmo tempo, a biblioteca de mercadorias de volume total noRecuperação massiva de conjuntos de candidatoseClassificação precisaA natureza demorada e demorada da computação se tornou um gargalo para o crescimento dos negócios.

Se estiver tendo dificuldades comPontualidade recomendada, escalabilidade do sistema e alto desempenho de simultaneidadee ansiedade, então, a Tencent Cloud preparou para você este conjunto debanco de dados de vetoresecálculo on-lineA arquitetura de recomendação de milissegundos será sua melhor opção.

​Diagrama e visão geral da arquitetura da solução​

As principais ideias de design desse programa são.O processamento de fluxo em tempo real é usado para capturar os interesses instantâneos dos usuários, e bancos de dados vetoriais de alto desempenho são usados para obter recuperação de similaridade em nível de milissegundos e, por fim, fazer recomendações precisas integrando interesses de longo e curto prazo.​

Uma imagem vale mais que mil palavras, e aqui está um diagrama arquitetônico da solução que mostra claramente o fluxo de dados em conjunto com os componentes principais:

Solução de sistema de recomendação para bilhões de usuários: banco de dados vetorial + arquitetura de computação em tempo real para obter recomendação em milissegundos - LikaCloud

O fluxo de trabalho é o seguinte:

  1. Aquisição em tempo real.Os dados comportamentais gerados pelos usuários no front-end (por exemplo, cliques, visualizações, favoritos) são capturados em tempo real e enviados para oTDMQ RocketMQfilas de mensagens para redução de picos e desacoplamento.
  2. Processamento em tempo real.​ ​Streaming de computação Oceanusconsomem dados na fila de mensagens, realizam extração e agregação de recursos em tempo real e invocam modelos para inferência rápida, a fim de gerar a resposta do usuário.Vetores de juros em tempo real。
  3. Pesquisa de vetores.Tanto os vetores em tempo real do usuário quanto os vetores de itens pré-processados são armazenados noBanco de dados vetorial da Tencent Cloudem. Quando uma recomendação é necessária, o aplicativo comercial lança uma consulta diretamente no banco de dados vetorial, que retorna uma coleção dos itens mais semelhantes em milissegundos.
  4. Pedestais de dados e modelagem.​ ​TBDS/WeDataA plataforma de big data é responsável pela limpeza de dados off-line, integração e construção de perfis de usuários de longo prazo.TI-ONEA plataforma de aprendizagem automática é então usada para treinar e gerar modelos de recomendação de aprendizagem profunda de alta qualidade, fornecendo suporte de modelo para computação e vetorização em tempo real.
  5. Integração de negócios.A lógica comercial de recomendação (por exemplo, filtragem, regras de classificação) é implantada noCVMNa parte superior, todos os tipos de serviços são chamados com segurança e em alta velocidade pela intranet, e as recomendações finais são retornadas ao usuário.

A arquitetura resolve perfeitamente o problema apresentado na introdução deTempo real, escalabilidade e desempenhoTrês pontos problemáticos principais.

​Produtos e componentes principais​

montagensdesempenhar um papelPrincipais recomendações de configuração/seleçãoPor que escolher
​Banco de dados vetorial da Tencent Cloud
(Tencent Cloud VectorDB)​		​O núcleo do sistema, que é responsável pelo armazenamento de todos os itens e vetores de usuários e pelo fornecimento de pesquisa de vizinho mais próximo (ANN) em milissegundos.。opçãoTipos de instância de alto desempenhoSelecione a especificação apropriada de acordo com a quantidade de dados (nível de bilhão/dez bilhões). Seleção do tipo de índiceHNSWem busca de desempenho extremo.​Otimizado para pesquisa vetorialO desempenho do sistema é muito superior ao das soluções de banco de dados tradicionais. Suporte a centenas de bilhões de vetores com um único índice.99.99% Alta disponibilidadeO sistema não requer manutenção, o que reduz muito o custo de desenvolvimento e manutenção.
​Streaming de computação Oceanus​​cérebro computacional em tempo realque é responsável por consumir os fluxos de comportamento do usuário, realizar a computação de recursos em tempo real e a geração de vetores de usuário.opçãoVersão do FlinkSelecione o número de CUs (unidades de computação) de acordo com a taxa de transferência de dados. AtivarPonto de controleGarantia funcional da consistência do estado.​Serviço totalmente gerenciado do Apache FlinkEle oferece latência de processamento de menos de um segundo e capacidade de alto rendimento. Não há necessidade de se preocupar com a operação e a manutenção do cluster, concentre-se no desenvolvimento da lógica de negócios e realize facilmente o processamento de eventos complexos.
​Fila de mensagens TDMQ
(Edição RocketMQ)​		​O centro nervoso do sistemaEle é responsável por receber todos os dados de comportamento do usuário em tempo real, armazenar em buffer e desacoplar os sistemas upstream e downstream.opçãoRocketMQ 5.xO número de partições de tópico é definido para corresponder ao número de consumidores simultâneos para garantir a taxa de transferência.TerExtrema taxa de transferência e baixa latênciaO sistema é totalmente compatível com o ecossistema do Apache RocketMQ e pode oferecer suporte contínuo aos sistemas existentes. Totalmente compatível com o ecossistema do Apache RocketMQ, conexão perfeita com os sistemas existentes.
​Plataforma de Big Data WeData/TBDS​​pedra angular dos dadosO gerente de TI é responsável pela ETL de dados off-line, pelo gerenciamento da qualidade dos dados e pela construção de perfis de usuários de longo prazo.fazer uso deWeDataRealizar o desenvolvimento de dados e a programação de tarefas usandoTBDSManuseio de armazenamento e computação de dados em escala muito grande.ofertaCapacidade de governança de dados em um só lugarO sistema de monitoramento de dados é um sistema de monitoramento de dados que assegura que os dados alimentados no modelo e no sistema em tempo real sejam precisos e confiáveis, garantindo a eficácia da recomendação na fonte.
​Plataforma de aprendizado de máquina TI-ONE​​O mecanismo dos algoritmos de recomendaçãoque é usado para treinar e implantar modelos de aprendizagem profunda, como modelos de torre dupla, DNNs etc., para gerar vetores de alta qualidade.fazer uso deCaderno de anotaçõesRealizar experimentos de recursos e modelos usandoPlataforma de treinamentoRealizar treinamento distribuído em massa usandoserviço de modelagemRealize a implantação com um clique.fornecer informações deSuporte completo ao processo, desde a engenharia de recursos até os serviços de modelosEle tem uma variedade de estruturas algorítmicas integradas e componentes de otimização, o que melhora significativamente a eficiência de P&D dos engenheiros de algoritmos.
​Servidor em nuvem CVM e rede privada VPC​​Portador de lógica de negóciosque é usado para implementar aplicativos de negócios, como serviços de API de recomendação, serviços de política e assim por diante.​CVMSelecione Compute Optimised. Todos os componentes são implantados noMesma VPC na mesma área geográficadentro da rede para garantir a menor latência de rede e comunicações mais seguras.​VPCFornecer todos os produtos de nuvem com umAmbiente de intranet isolado, seguro e de alta velocidadeEle é a base para garantir o alto desempenho e a segurança de todo o sistema.

​Resumo dos benefícios do programa​

  • Resposta em milissegundos.Contando com o desempenho extremo de recuperação do Tencent Cloud Vector Database, o atraso de recuperação recomendado é reduzido a milissegundos, e a experiência do usuário é suave como a seda.
  • ? Expansão ilimitada.Os componentes da arquitetura são distribuídos e podem ser facilmente dimensionados horizontalmente para lidar com o crescimento de milhões a centenas de bilhões de usuários e objetos.
  • ? Recomendações precisas.A combinação da computação em tempo real e da recuperação vetorizada pode refletir as preferências de longo prazo dos usuários e também captar interesses em tempo real, melhorando significativamente a precisão das recomendações.
  • ? ️ Estável e confiável.Os serviços totalmente gerenciados oferecem failover automático e proteção de alta disponibilidade, com disponibilidade do sistema de até 99,99% para a continuidade dos negócios.
  • ? Reduzir custos e aumentar a eficiência.A eliminação de operações e manutenções complicadas de infraestrutura permite que as equipes de desenvolvimento e algoritmos se concentrem mais na inovação dos negócios, e o custo total de propriedade (TCO) é drasticamente reduzido.

​Cenários de aplicativos e clientes aplicáveis​

  • ​Cenários típicos de aplicativos.​
    • Plataforma de comércio eletrônico.Recomendações personalizadas em tempo real, como “Guess What You Like” e “Watch and Re-Watch”, para aumentar a taxa de cliques e o GMV.
    • Informações de conteúdo/plataforma de vídeo curto.Atualize rapidamente o conteúdo do fluxo com base no comportamento de navegação em tempo real dos usuários para aumentar a permanência e o tempo de permanência do usuário.
    • Aplicativos de música/rádio.Gerar recomendações da próxima jogada em tempo real para uma experiência imersiva.
  • Características aplicáveis do cliente.​
    • Enorme volume de usuários (mais de um milhão de atividades diárias), enfrentando sérios desafios de desempenho e escalabilidade.
    • Resultados de negócios para recomendadosatualidadeExtremamente exigente, com a necessidade de feedback rápido sobre o comportamento mais recente do usuário.
    • A equipe técnica queria adotar uma arquitetura líder do setor, mas queriaRedução do investimento em O&Mconcentrando-se na lógica comercial central.

​Links relacionados​

Tags.