소개(고충 분석)
개발자 및 아키텍트 여러분, 다음과 같은 문제로 어려움을 겪고 계신가요?
비즈니스가 비약적으로 성장하고 사용자 기반이 10억 명을 넘어서면서 기존의 추천 시스템으로는 한계에 부딪히기 시작합니다. 오프라인 배치 기반 추천은 업데이트 속도가 느리고 사용자들의실시간 관심사트래픽이 급증하면 시스템 응답 지연 시간이 급증하고 사용자 경험이 급감하며, 동시에 전체 볼륨 상품 라이브러리의대규모 후보 세트 리콜그리고정확한 정렬시간이 오래 걸리는 컴퓨팅의 특성은 비즈니스 성장의 걸림돌이 되고 있습니다.
다음과 같은 문제로 어려움을 겪고 있다면권장 적시성, 시스템 확장성 및 높은 동시성 성능불안감을 느끼시는 분들을 위해 텐센트 클라우드가 다음과 같이 준비했습니다.벡터 데이터베이스그리고온라인 계산밀리초 추천 아키텍처가 최선의 선택이 될 것입니다.
솔루션 아키텍처 다이어그램 및 개요
이 프로그램의 핵심 디자인 아이디어는 다음과 같습니다.실시간 스트림 처리를 통해 사용자의 순간적인 관심사를 파악하고, 고성능 벡터 데이터베이스를 사용하여 밀리초 수준의 유사도 검색을 달성하며, 궁극적으로 장단기 관심사를 통합하여 정확한 추천을 제공합니다.
다음은 핵심 구성 요소와 함께 데이터의 흐름을 명확하게 보여주는 솔루션의 아키텍처 다이어그램입니다:
워크플로우는 다음과 같습니다:
- 실시간 수집.프런트엔드에서 사용자가 생성한 행동 데이터(예: 클릭, 조회, 즐겨찾기)는 실시간으로 캡처되어 실시간으로TDMQ 로켓MQ피크 쉐이빙 및 디커플링을 위한 메시지 대기열을 설정합니다.
- 실시간 처리. 스트리밍 컴퓨팅 오셔너스메시지 대기열에서 데이터를 소비하고, 실시간 특징 추출, 집계를 수행하고, 빠른 추론을 위해 모델을 호출하여 사용자의 정보를 생성합니다.실시간 관심사 벡터。
- 벡터 검색.사용자의 실시간 벡터와 사전 처리된 아이템 벡터는 모두텐센트 클라우드 벡터 데이터베이스에 입력합니다. 추천이 필요한 경우 비즈니스 애플리케이션은 벡터 데이터베이스에 직접 쿼리를 실행하여 밀리초 이내에 가장 유사한 항목의 모음을 반환합니다.
- 데이터 및 모델링 받침대. TBDS/WeData빅데이터 플랫폼은 오프라인 데이터 정리, 통합 및 장기적인 사용자 프로필 구축을 담당합니다.TI-ONE그런 다음 머신러닝 플랫폼을 사용하여 고품질 딥러닝 추천 모델을 학습하고 출력하여 실시간 계산 및 벡터화를 위한 모델 지원을 제공합니다.
- 비즈니스 통합.권장 사항 비즈니스 로직(예: 필터링, 정렬 규칙)이 배포됩니다.CVM상단에서는 모든 종류의 서비스가 인트라넷을 통해 안전하고 빠른 속도로 호출되고 최종 추천이 사용자에게 반환됩니다.
이 아키텍처는 다음과 같은 도입 과정에서 제기된 문제를 완벽하게 해결합니다.실시간, 확장성 및 성능세 가지 주요 문제점이 있습니다.
핵심 제품 및 구성 요소
| 어셈블리 | 역할 수행 | 주요 구성/선택 권장 사항 | 선택하는 이유 |
|---|---|---|---|
| 텐센트 클라우드 벡터 데이터베이스 (텐센트 클라우드 벡터DB) | 모든 항목과 사용자 벡터를 저장하고 밀리초 단위의 근사 이웃 검색(ANN)을 제공하는 시스템의 핵심입니다.。 | 옵션고성능 인스턴스 유형를 클릭하고 데이터 양(수십억/수백억)에 따라 적절한 사양을 선택합니다. 인덱스 유형 선택HNSW극한의 성능을 추구합니다. | 벡터 검색에 최적화의 성능은 기존 데이터베이스 솔루션의 성능을 훨씬 뛰어넘습니다. 단일 인덱스로 수천억 개의 벡터를 지원합니다.99.99% 고가용성이 시스템은 유지보수가 필요 없으므로 개발 및 유지보수 비용이 크게 절감됩니다. |
| 스트리밍 컴퓨팅 오셔너스 | 실시간 컴퓨팅 두뇌는 사용자 행동 스트림을 소비하고 실시간 특징 계산 및 사용자 벡터 생성을 수행합니다. | 옵션플링크 버전를 클릭하고 데이터 처리량에 따라 CU(컴퓨팅 단위) 수를 선택합니다. 활성화체크포인트기능 보증 상태 일관성. | 완전 관리형 Apache Flink 서비스1초 미만의 처리 지연 시간과 높은 처리량을 제공합니다. 클러스터 운영 및 유지 관리에 신경 쓸 필요가 없고, 비즈니스 로직 개발에 집중할 수 있으며, 복잡한 이벤트 처리가 용이합니다. |
| 메시지 큐 TDMQ (로켓MQ 에디션) | 시스템의 신경 중심모든 실시간 사용자 행동 데이터를 처리하고 업스트림 및 다운스트림 시스템을 버퍼링 및 디커플링하는 역할을 담당합니다. | 옵션RocketMQ 5.x토픽 파티션의 수는 처리량을 보장하기 위해 동시 사용자 수와 일치하도록 설정됩니다. | 충족 가능(조건 또는 요구 사항)탁월한 처리량과 짧은 지연 시간이 시스템은 Apache RocketMQ 에코시스템과 완벽하게 호환되며 기존 시스템을 원활하게 지원할 수 있습니다. Apache RocketMQ 에코시스템과 완벽하게 호환되며 기존 시스템과 원활하게 연결됩니다. |
| 빅데이터 플랫폼 WeData/TBDS | 데이터 초석오프라인 데이터 ETL, 데이터 품질 관리 및 장기적인 사용자 프로필 구축을 담당합니다. | 활용WeData다음을 사용하여 데이터 개발 및 작업 예약을 수행합니다.TBDS대규모 데이터의 저장 및 계산을 처리합니다. | offer원스톱 데이터 거버넌스 기능를 통해 모델과 실시간 시스템에 공급되는 데이터의 정확성과 신뢰성을 보장하여 소스에서 추천 효과를 보장합니다. |
| 머신 러닝 플랫폼 TI-ONE | 추천 알고리즘의 엔진바이타르 모델, DNN 등과 같은 딥러닝 모델을 훈련하고 배포하여 고품질 벡터를 생성하는 데 사용됩니다. | 활용노트북다음을 사용하여 기능 및 모델 실험을 수행합니다.교육 플랫폼다음을 사용하여 대규모 분산 교육을 수행합니다.모델링 서비스원클릭 배포를 수행합니다. | 다음에서 정보를 제공합니다.기능 엔지니어링부터 모델 서비스까지 전체 프로세스 지원다양한 알고리즘 프레임워크와 최적화 구성 요소가 내장되어 있어 알고리즘 엔지니어의 R&D 효율성을 크게 향상시킵니다. |
| 클라우드 서버 CVM 및 사설 네트워크 VPC | 비즈니스 로직 무기명추천 API 서비스, 정책 서비스 등과 같은 비즈니스 애플리케이션을 배포하는 데 사용됩니다. | CVM컴퓨팅 최적화를 선택합니다. 모든 구성 요소는동일한 지리적 영역에 있는 동일한 VPC네트워크 내에서 가장 낮은 네트워크 지연 시간과 가장 안전한 통신을 보장합니다. | VPC모든 클라우드 제품에격리된 안전한 고속 인트라넷 환경이는 전체 시스템의 고성능과 보안을 보장하는 기반이 됩니다. |
프로그램 혜택 요약
- 밀리초 응답.텐센트 클라우드 벡터 데이터베이스의 뛰어난 검색 성능에 힘입어 권장 리콜 지연이 밀리초로 줄어들고 사용자 환경이 매끄럽게 개선되었습니다.
- ? 무제한 확장.아키텍처의 구성 요소는 분산되어 있으며 수백만 명에서 수천억 명의 사용자 및 개체 증가를 처리할 수 있도록 수평적으로 쉽게 확장할 수 있습니다.
- ? 정확한 권장 사항.실시간 계산과 벡터화된 검색의 조합은 사용자의 장기적인 선호도를 반영하고 실시간 관심사를 예리하게 포착하여 추천 정확도를 크게 향상시킬 수 있습니다.
- ? ️ 안정적이고 신뢰할 수 있습니다.완전 관리형 서비스는 비즈니스 연속성을 위해 99.99%의 높은 시스템 가용성과 함께 자동 장애 복구 및 고가용성 보호 기능을 제공합니다.
- ? 비용을 절감하고 효율성을 높이세요.번거로운 인프라 운영 및 유지보수를 제거하면 개발 및 알고리즘 팀이 비즈니스 혁신에 더 집중할 수 있고 총소유비용(TCO)이 획기적으로 절감됩니다.
애플리케이션 시나리오 및 적용 대상 고객
- 일반적인 애플리케이션 시나리오.
- 전자상거래 플랫폼.“좋아하는 것 맞춰보기”, “시청 후 다시 보기” 등 실시간 개인 맞춤형 추천을 통해 클릭률과 총매출액을 높일 수 있습니다.
- 콘텐츠 정보/단편 동영상 플랫폼.사용자의 실시간 브라우징 행동에 따라 스트림 콘텐츠를 빠르게 업데이트하여 사용자 고착화와 체류 시간을 늘릴 수 있습니다.
- 음악/라디오 앱.몰입감 있는 경험을 위해 실시간으로 다음 플레이 추천을 생성합니다.
- 적용 가능한 고객 특성.
- 엄청난 양의 사용자(매일 백만 건 이상의 활동)로 인해 심각한 성능 및 확장성 문제에 직면해 있습니다.
- 비즈니스에서 추천 결과까지화제성최신 사용자 행동에 대한 빠른 피드백이 필요하기 때문에 매우 까다로운 작업입니다.
- 기술팀은 업계 최고의 아키텍처를 원했지만 다음과 같은 목표를 달성하고자 했습니다.O&M 투자 감소핵심 비즈니스 로직에 집중합니다.
관련 링크
- 텐센트 클라우드 벡터 데이터베이스 제품 공식 웹사이트.지금 알아보기
- 지금 스트리밍 컴퓨팅 Oceanus에 대해 알아보기
- 지금 메시지 큐 TDMQ(RocketMQ 에디션)에 대해 알아보세요!
- 지금 빅데이터 플랫폼(WeData/TBDS)에 대해 알아보세요!/ WeData \n丨 TBDS
- 지금 바로 머신 러닝 플랫폼 TI-ONE에 대해 알아보기
- 지금 클라우드 서버 CVM 및 사설 네트워크 VPC에 대해 알아보세요! / CVM \n丨 VPC
- Tencent 클라우드 제품 무료 평가판
- RabbitMQ용 메시지 대기열 TDMQ 기술 문서:세부 정보 보기
- 더 많은 빅 데이터 솔루션
한국어