Úvod (analýza bolestivých míst)
Vážení vývojáři a architekti, trápí vás následující problémy?
S rychlým rozvojem podnikání překročil počet vašich uživatelů hranici 100 milionů a tradiční doporučovací systémy začínají být nedostatečné. Aktualizace výsledků doporučení založené na offline dávkovém zpracování jsou pomalé a nedokážou zachytit aktuální potřeby uživatelů.Reálné zájmyKdyž došlo k náhlému nárůstu provozu, došlo k výraznému zpoždění odezvy systému a uživatelská zkušenost se rapidně zhoršila. Současně probíhalo prohledávání celé databáze produktů.Retrieval obrovského množství kandidátů.和Přesné řazení.Výpočty trvají příliš dlouho a stávají se překážkou pro růst podnikání.
Pokud hledáteDoporučujeme vysokou dostupnost, škálovatelnost systému a vysokou výkonnost při vysokém provozním zatížení.Pokud jde o úzkost, Tencent Cloud pro vás připravil sadu nástrojů založených naVektorová databáze和Výpočty v reálném časeNaše doporučovací architektura na úrovni milisekund bude vaší nejlepší volbou.
Schéma a přehled architektury řešení
Hlavní myšlenkou tohoto řešení je:Využijte zpracování streamů v reálném čase k zachycení momentálních zájmů uživatelů, provádějte vyhledávání podobností v milisekundách pomocí vysoce výkonných vektorových databází a nakonec integrujte dlouhodobé a krátkodobé zájmy za účelem poskytování přesných doporučení.
Jedna fotografie vydá za tisíc slov. Níže je uvedeno schéma řešení, které jasně ukazuje tok dat a interakci hlavních komponent:
Pracovní postup je následující:
- Sběr dat v reálném čase: Uživatelská data o chování (například kliknutí, prohlížení, přidávání do oblíbených) generovaná na frontendu jsou v reálném čase shromažďována a odesílána naTDMQ RocketMQZprávová fronta pro vyrovnávání výkyvů a oddělení komponent.
- Zpracování v reálném čase:\n Streamingová výpočetní platforma Oceanus.Data v konzumní zpravodajské frontě jsou podrobena extrakci rysů v reálném čase, agregování a volání modelu pro rychlé závěry, na jejichž základě jsou vytvářeny profily uživatelů.Vektor zájmů v reálném čase。
- Vektorové vyhledávání:Vektory uživatelů v reálném čase a předem zpracované vektory položek jsou uloženy vVektorová databáze Tencent CloudKdyž je potřeba provést doporučení, obchodní aplikace přímo spustí dotaz na vektorovou databázi, která za několik milisekund vrátí sadu nejpodobnějších položek.
- Data a modelová základna:\n TBDS/WeDataPlatfrom pro velká data je zodpovědný za offline čištění a integraci dat a za vytváření dlouhodobých uživatelských profilů.TI-ONEPlatformy pro strojové učení se používají k trénování a vytváření vysoce kvalitních doporučovacích modelů pro hloubkové učení a k poskytování modelové podpory pro výpočty v reálném čase a vektorizaci.
- Integrace podnikových procesů:Doporučuje se nasadit obchodní logiku (například filtrování, pravidla pro řazení) naCVMNahoře je možné bezpečně a rychle využívat různé služby prostřednictvím intranetu a poskytovat uživatelům konečné výsledky doporučení.
Tato architektura dokonale řeší problém popsaný v úvodu.V reálném čase, škálovatelnost a výkonnost.Tři hlavní problémy.
Základní produkty a komponenty
| Komponenty | hrát roli | Klíčová doporučení pro konfiguraci/výběr | Proč si ji vybrat |
|---|---|---|---|
| Vektorová databáze Tencent Cloud (Tencent Cloud VectorDB) | Jádro systému je zodpovědné za ukládání všech položek a uživatelských vektorů a poskytuje přibližné vyhledávání nejbližších sousedů (ANN) na úrovni milisekund.。 | VýběrVysoce výkonné typy instancíVyberte vhodnou velikost na základě objemu dat (miliardy/desítky miliard). Vyberte typ indexu.HNSWS cílem dosáhnout maximálního výkonu. | Optimalizováno pro vektorové vyhledávání.Výkonnost je mnohem vyšší než u tradičních databázových řešení. Jediný index podporuje stovky miliard vektorů.99,99% s vysokou dostupností.Bez nutnosti provozní a údržbářské činnosti, což významně snižuje náklady na vývoj a provoz. |
| Streamingová výpočetní platforma Oceanus. | Výpočty mozku v reálném čase.Odpovídá za tok chování spotřebitelů, provádí výpočet charakteristik v reálném čase a generuje uživatelské vektory. | VýběrVerze FlinkZvolte počet výpočetních jednotek (CU) na základě datového průtoku. Spusťte.CheckpointTato funkce zajišťuje konzistentnost stavu. | Plně řízená služba Apache Flink.Nabízí zpracování s prodlevou v řádu nanosekund a vysokou propustností. Nemusíte se starat o provoz a údržbu clusteru, můžete se soustředit na vývoj obchodní logiky a snadno zvládnout zpracování komplexních událostí. |
| Zprávová fronta TDMQ. (Verze RocketMQ) | Neurální centrum systému.Odpovídá za získávání všech dat o chování uživatelů v reálném čase a za vyrovnávání a oddělení systémů na dolní i horní úrovni. | VýběrRocketMQ 5.xVerze pro dosažení lepšího výkonu. Počet tématických oddílů je nastaven tak, aby odpovídal počtu souběžných spotřebitelů, což zajistí vysokou propustnost. | MítMaximální propustnost a nízká latence.Dokonale podporuje vysokou paralelní zápis pro stovky milionů uživatelů. Je plně kompatibilní s ekosystémem Apache RocketMQ a bezproblémově se integruje do stávajících systémů. |
| Platforma pro velké objemy dat WeData/TBDS | Datový základOdpovídá za offline ETL dat, správu kvality dat a vytváření dlouhodobých uživatelských profilů. | PoužitíWeDataPro vývoj dat a plánování úkolů použijteTBDSZpracování ukládání a výpočtů s velmi velkým objemem dat. | NabídnoutSchopnost komplexní správy dat na jednom místě.Zajistěte, aby data zadávaná do modelu a do systému v reálném čase byla přesná a spolehlivá, a tak zajistěte efektivitu doporučení již od samotného zdroje. |
| Platforma pro strojové učení TI-ONE. | Motor algoritmu pro poskytování doporučení.K trénování a nasazování modelů hloubkového učení, jako jsou dvouvěžové modely a neuronové sítě, a k vytváření vysoce kvalitních vektorů. | PoužitíNotebookProvedení experimentů s funkcemi a modely pomocíTréninková platformaPro provádění rozsáhlého distribuovaného tréninku použijteModelové službyProveďte jednoduchou instalaci. | Nabízejí přepravu zPodpora celého procesu od inženýrství funkcí až po modelové služby.Je vybaven mnoha různými algoritmickými rámci a optimalizačními komponenty, což významně zvyšuje efektivitu výzkumu a vývoje algoritmických inženýrů. |
| Cloudový server CVM a privátní síť VPC. | Nositel obchodní logiky.K nasazení doporučovacích API služeb, strategických služeb a dalších obchodních aplikací. | CVMZvolte variantu s optimalizací výpočtů. Všechny komponenty jsou nasazeny vStejné VPC ve stejné oblastiUvnitř zajistěte minimální síťové zpoždění a co nejbezpečnější komunikaci. | VPCPoskytnout jeden pro všechny cloudové produkty.Izolované, bezpečné a rychlé prostředí intranetu.Je to základ pro zajištění vysoké výkonnosti a bezpečnosti celého systému. |
Shrnutí přínosů programu
- ⚡ Reakce během několika milisekund:Díky extrémně vysokému výkonu vyhledávání v databázi vektorů Tencent Cloud se zpoždění při doporučování snížilo na milisekundy a uživatelská zkušenost je nyní naprosto plynulá.
- ? Neomezené rozšíření:Všechny komponenty architektury jsou navrženy distribuovaně a lze je snadno horizontálně škálovat, aby mohly zvládnout nárůst počtu uživatelů a položek od milionů až po stovky miliard.
- ? Přesná rekomendace: Kombinací výpočtů v reálném čase a vektorového vyhledávání lze odrážet dlouhodobé preference uživatelů a zároveň rychle zachycovat jejich aktuální zájmy, což významně zlepšuje přesnost doporučení.
- ?️ Stabilní a spolehlivý:Plně řízená služba poskytuje automatické přecházení na záložní systém a zajišťuje vysokou dostupnost, přičemž systém je dostupný až 99,991 % času, což zajistí kontinuitu podnikání.
- Zlepšení efektivity a snížení nákladů:Odstraní to zdlouhavé údržby infrastruktury, což umožní vývojářským a algoritmickým týmům soustředit se více na inovace v oblasti podnikání, a významně sníží celkové náklady na vlastnictví (TCO).
Scénáře použití a použitelní zákazníci
- Typické scénáře použití:
- E-commerce platformy:Realizovat personalizovaná doporučení v reálném čase, jako například “Myslíme, že se ti to bude líbit” nebo “Další podobné videa”, a zvýšit tak počet kliknutí a hrubou hodnotu prodeje (GMV).
- Platformy pro sdílení obsahu/krátká videa:Na základě aktuálního chování uživatelů při prohlížení rychle aktualizujte obsah informačního toku, abyste zvýšili uživatelskou angažovanost a dobu setrvání na stránce.
- Hudební/rozhlasové aplikace:V reálném čase generuje doporučení pro další přehrání a vytváří tak pohlcující zážitek.
- Použitelné charakteristiky zákazníka.
- Počet uživatelů je obrovský (více než milion denních uživatelů) a čelí vážným výzvám v oblasti výkonnosti a škálovatelnosti.
- Obchodní činnost se zaměřuje na výsledky doporučení.Reálný časPožadavky jsou velmi vysoké a vyžadují rychlou reakci na nejnovější chování uživatelů.
- Technický tým chce použít špičkovou architekturu v oboru, ale přitom si přeje, abySnížení nákladů na provoz a údržbu.Zaměřte se na hlavní logiku podnikání.
Související odkazy
- Officiální web produktu vektorové databáze Tencent Cloud:Zjistěte to hned.
- Zjistěte více o streamování dat v Oceanusu hned teď.
- Získejte okamžitý přehled o zpravodajské frontě TDMQ (verze RocketMQ).
- Získejte okamžitý přehled o platformě pro velké objemy dat (WeData/TBDS)./ WeData 丨 TBDS
- Získejte okamžitý přehled o platformě pro strojové učení TI-ONE.
- Získejte okamžitý přehled o cloudovém serveru CVM a privátní síti VPC. / CVM 丨 VPC
- Bezplatná zkouška produktů Tencent Cloud.
- Technická dokumentace ke zprávové frontě TDMQ pro RabbitMQ:Zobrazit podrobnosti
- Další řešení v oblasti velkých dat
Čeština