Rozwiązanie do systemu rekomendacji dla setek milionów użytkowników: Baza danych wektorowych w połączeniu z architekturą obliczeniową w czasie rzeczywistym umożliwiają rekomendacje w ciągu zaledwie kilku milisekund.

Wstęp (analiza problemu)​

Drodzy deweloperzy i architekci, czy zmagacie się z następującymi problemami?

Wraz z dynamicznym rozwojem biznesu liczba Twoich użytkowników przekracza miliard, a tradycyjne systemy rekomendacji przestają sobie radzić. Aktualizacje wyników rekomendacji w oparciu o przetwarzanie wsadowe offline są powolne i nie pozwalają uchwycić zmian zachowania użytkowników.Zainteresowania w czasie rzeczywistym.W obliczu nagłego wzrostu ruchu, opóźnienia w odpowiedzi systemu gwałtownie rosną, a jakość obsługi użytkowników diametralnie spada. Jednocześnie wszystkie produkty w bazie danych podlegają przeglądowi.Wyszukiwanie wielu kandydatów和Dokładna segregacja.Obliczenia zajmują dużo czasu i stanowią ograniczenie w rozwoju biznesu.

Jeśli szukaszZaleca się wydajność, skalowalność systemu oraz wysoką wydajność przy dużym obciążeniu.A jeśli chodzi o obawy, to Tencent Cloud przygotował dla ciebie pakiet oparty naBaza danych wektorowych.和Obliczenia w czasie rzeczywistym.Nasz algorytm rekomendacji działający w czasie rzeczywistym będzie dla Ciebie najlepszą opcją.

​Diagram architektury rozwiązania i jego opis.​

Główną koncepcją projektową tego rozwiązania jest:Wykorzystanie przetwarzania strumieniowego w czasie rzeczywistym do identyfikowania chwilowych zainteresowań użytkowników, wyszukiwanie podobnych treści w ciągu zaledwie kilku milisekund dzięki wysokowydajnej bazie danych wektorowych oraz łączenie długoterminowych i krótkoterminowych zainteresowań w celu tworzenia spersonalizowanych rekomendacji.​

Jedno obrazek może wyrazić więcej niż tysiąc słów. Poniżej znajduje się schemat architektury rozwiązania, który wyraźnie pokazuje przepływ danych i interakcję głównych komponentów:

Jego proces pracy wygląda następująco:

1. Gromadzenie danych w czasie rzeczywistym:Dane o zachowaniu użytkowników (np. kliknięcia, przeglądanie, dodawanie do ulubionych) są gromadzone w czasie rzeczywistym na poziomie frontendu i przesyłane do serwera.TDMQ RocketMQKolumna komunikatów, służąca do wyrównywania obciążenia i rozdzielenia elementów.
2. Przetwarzanie w czasie rzeczywistym:\n​ ​Obliczenia strumieniowe OceanusDane z kolejki komunikatów konsumenckich są poddawane ekstrakcji cech w czasie rzeczywistym, agregacji i wywoływaniu modelu do szybkiego rozumowania, aby generować informacje o użytkowniku.Wektor zainteresowań w czasie rzeczywistym.。
3. Wyszukiwanie wektorowe:Wektory użytkowników w czasie rzeczywistym oraz przygotowane wcześniej wektory przedmiotów są przechowywane wBaza danych wektorowych Tencent Cloud.Gdy potrzebne są rekomendacje, aplikacja biznesowa wysyła zapytanie bezpośrednio do bazy danych wektorowych, która w ciągu kilku milisekund zwraca zbiór najbardziej podobnych produktów.
4. Dane i baza modeli:\n​ ​TBDS/WeDataPlatforma Big Data odpowiada za offline’owe oczyszczanie i integrowanie danych oraz tworzenie długoterminowych profili użytkowników.TI-ONEPlatformy uczenia maszynowego są wykorzystywane do szkolenia i tworzenia wysokiej jakości modeli rekomendacyjnych opartych na uczeniu głębokim, a także do zapewnienia wsparcia modelowego dla obliczeń w czasie rzeczywistym i wektorowych.
5. Integracja biznesowa:Zaleca się, aby logika biznesowa (np. filtrowanie, reguły sortowania) była wdrażana wCVMNastępnie w bezpieczny i szybki sposób korzysta z różnych usług za pośrednictwem sieci wewnętrznej, a następnie przekazuje użytkownikowi ostateczną rekomendację.

Ta struktura doskonale rozwiązuje problem poruszony we wstępie.Czas rzeczywisty, skalowalność i wydajność.Trzy największe problemy.

​Szczegółowe informacje o głównych produktach i komponentach.​

Komponenty	Granie ról	Kluczowe zalecenia dotyczące konfiguracji/wyboru.	Dlaczego wybrałeś to?
​Baza danych wektorowych Tencent Cloud. (Tencent Cloud VectorDB)​	​Serce systemu, odpowiedzialne za przechowywanie wszystkich przedmiotów i wektorów użytkowników, a także umożliwiające wyszukiwanie najbliższego sąsiada z dokładnością do milisekund (ANN).。	WybierzTypy instancji o wysokiej wydajnościWybierz odpowiedni rozmiar w zależności od ilości danych (na poziomie miliardów/setek miliardów). Wybierz typ indeksu.HNSWDążąc do osiągnięcia maksymalnej wydajności.	​Zoptymalizowany pod kątem wyszukiwania wektorowego.Jego wydajność znacznie przewyższa tradycyjne rozwiązania bazodanowe. Pojedynczy indeks obsługuje setki miliardów wektorów.99,99% wysoka dostępnośćNie wymaga konserwacji i obsługi, co znacznie zmniejsza koszty rozwoju i utrzymania.
​Obliczenia strumieniowe Oceanus​	​Obliczanie funkcjonowania mózgu w czasie rzeczywistym.Odpowiada za przepływ zachowań użytkowników, obliczanie cech w czasie rzeczywistym oraz generowanie wektorów użytkowników.	WybierzWersja FlinkaWybierz liczbę jednostek obliczeniowych (CU) w oparciu o przepustowość danych. Uruchom.CheckpointFunkcja ta gwarantuje spójną kondycję systemu.	​W pełni zarządzana usługa Apache Flink.Zapewnia opóźnienia w przetwarzaniu na poziomie submikrosekundowym i wysoką przepustowość. Nie trzeba martwić się o utrzymanie klastra, można skupić się na rozwoju logiki biznesowej i łatwo obsługiwać złożone zdarzenia.
​Kolumna komunikatów TDMQ. (Wersja RocketMQ)​	​Nerwowe centrum systemu.Jest odpowiedzialny za gromadzenie wszystkich danych o zachowaniu użytkowników w czasie rzeczywistym, a także buforowanie i oddzielenie systemów wyższego szczebla.	WybierzRocketMQ 5.xAby uzyskać lepszą wydajność, należy dostosować ustawienia liczby partycji tematycznych, aby odpowiadały liczbie równolegle działających konsumentów, co zapewni optymalną przepustowość.	PosiadaćMaksymalna przepustowość i niskie opóźnienia.Doskonale obsługuje wysoką częstotliwość zapisów dla setek milionów użytkowników. Jest w pełni kompatybilny z ekosystemem Apache RocketMQ i umożliwia płynną integrację z istniejącymi systemami.
​Platforma Big Data WeData/TBDS​	​Basis danychOdpowiada za offline ETL danych, zarządzanie jakością danych oraz tworzenie długoterminowych profili użytkowników.	UżyjWeDataAby rozwijać dane i planować zadania, należy użyćTBDSPrzetwarzanie i przechowywanie danych w bardzo dużej skali.	DostarczamyMożliwość kompleksowego zarządzania danymi w jednym miejscu.Należy upewnić się, że dane wprowadzane do modelu i systemu w czasie rzeczywistym są dokładne i wiarygodne, aby zapewnić skuteczność rekomendacji już na etapie ich generowania.
​Platforma do uczenia maszynowego TI-ONE.​	​Silnik algorytmów rekomendacyjnych.Do szkolenia i wdrażania modeli głębokiego uczenia się, takich jak modele dwutowerowe i sieci neuronowe, a także do generowania wysokiej jakości wektorów.	UżyjNotebookPrzeprowadź eksperymenty związane z cechami i modelami, korzystając zPlatforma szkoleniowaAby przeprowadzić dużośkalowe szkolenie rozproszone, należy użyćUsługi modeloweWykonaj wdrożenie jednym kliknięciem.	Udostępnij zKompleksowe wsparcie całego procesu, od inżynierii cech do usług modelowych.Zawiera wiele wbudowanych struktur algorytmicznych i elementów optymalizacyjnych, co znacznie zwiększa wydajność prac badawczo-rozwojowych inżynierów algorytmicznych.
​Serwer w chmurze CVM i sieć prywatna VPC.​	​Podmiot odpowiedzialny za logikę biznesową.Służy do wdrażania zalecanych usług API, usług strategicznych oraz innych aplikacji biznesowych.	​CVMWybierz opcję optymalizacji obliczeniowej. Wszystkie komponenty są wdrażane wTa sama sieć VPC w tej samej lokalizacji.W środku należy zapewnić minimalne opóźnienia w sieci i maksymalne bezpieczeństwo komunikacji.	​VPCUdostępnij jeden interfejs dla wszystkich produktów chmurowych.Izolowane, bezpieczne i szybkie środowisko sieci wewnętrznej.Jest to podstawa zapewnienia wysokiej wydajności i bezpieczeństwa całego systemu.

​Streszczenie zalet rozwiązania.​

• ⚡ Reakcja w ułamku sekundy:Dzięki doskonałej wydajności wyszukiwania w wektorowej bazie danych Tencent Cloud czas oczekiwania na rekomendacje skrócił się do kilku milisekund, a użytkownicy mogą korzystać z płynnej obsługi.
• ? Nielimitowana rozbudowa:Wszystkie elementy architektury są zaprojektowane w sposób rozproszony, co ułatwia skalowanie w poziomie i umożliwia bezproblemowe dostosowanie do wzrostu liczby użytkowników i przedmiotów — od milionów do setek miliardów.
• ? Precyzyjne rekomendacje:Połączenie obliczeń w czasie rzeczywistym z wyszukiwaniem wektorowym pozwala uwzględnić długoterminowe preferencje użytkownika, a także szybko identyfikować jego aktualne zainteresowania, co znacznie poprawia dokładność rekomendacji.
• ✅ Stabilny i niezawodny:Usługi w pełni zarządzane gwarantują automatyczne przełączanie awaryjne i wysoką dostępność, a także zapewniają ciągłość działania na poziomie 99,991 TP4T, chroniąc tym samym przedsiębiorstwa przed zakłóceniami w świadczeniu usług.
• ? Zmniejszenie kosztów i zwiększenie efektywności:Pozwala to uniknąć kłopotliwego zarządzania infrastrukturą, dzięki czemu zespoły ds. rozwoju i algorytmów mogą skupić się na innowacjach biznesowych, a całkowity koszt eksploatacji (TCO) znacznie się zmniejsza.

​Scenariusze użycia i klienci, dla których są przeznaczone.​

• ​Typowe scenariusze użycia:​
  • Platformy e-commerce:Realizuj rekomendacje w czasie rzeczywistym, takie jak “Polecamy dla Ciebie” i “Polecamy również”, aby zwiększyć współczynnik klikalności i wartość transakcji.
  • Platformy informacyjne / krótkie filmy:Szybka aktualizacja treści streamu informacyjnego w oparciu o rzeczywiste zachowanie użytkownika w czasie rzeczywistym pozwala zwiększyć jego zaangażowanie i wydłużyć czas pozostawania na stronie.
  • Aplikacje muzyczne / radiowe:Generuj kolejne rekomendacje do odtwarzania w czasie rzeczywistym, aby stworzyć wciągające doświadczenie.
• Charakterystyka klientów, dla których jest to przeznaczone:​
  • Użytkownicy są liczni (ponad milion dziennie) i stoją w obliczu poważnych wyzwań związanych z wydajnością i skalowalnością.
  • Biznes ma wpływ na wyniki rekomendacji.Aktualność.Wymagania są bardzo wysokie i konieczne jest szybkie reagowanie na najnowsze zachowania użytkowników.
  • Zespół techniczny chce zastosować wiodącą w branży architekturę, ale ma nadzieję, żeZmniejszenie nakładów na eksploatację i konserwację.Skup się na podstawowej logice biznesowej.

​Powiązane linki​

• Strona internetowa produktu Tencent Cloud Vector Database: ​D dowiedz się więcej już teraz.
• Poznaj natychmiast obliczenia strumieniowe Oceanus.
• Naucz się teraz korzystać z kolejki wiadomości TDMQ (w wersji RocketMQ).
• Poznaj platformę Big Data (WeData/TBDS) już teraz!/ WeData 丨 TBDS
• Poznaj platformę do uczenia maszynowego TI-ONE już teraz!
• Poznaj natychmiast serwer w chmurze CVM i sieć prywatną VPC. / CVM 丨 VPC
• Bezpłatna wersja próbna produktów Tencent Cloud.
• Dokumentacja techniczna kolejki komunikatów TDMQ dla RabbitMQ:Szczegóły znajdziesz tutaj:
• Więcej rozwiązań z zakresu big data.