텐센트 클라우드 C카프카 세컨즈 시스템 솔루션: 비동기식 피크 쉐이빙 및 밸리 필링, 수십억 건의 주문 폭주를 손쉽게 처리

소개(고충 분석)

이커머스 플랫폼의 설계자 또는 개발자로서 매년 급증하는 프로모션에 대해 걱정하시나요? 시계가 0을 가리키면 엄청난 수의 사용자가 순식간에 유입되는데, 시스템이 다음과 같은 심각한 문제에 직면하고 있지는 않나요?

-플로우 펄스, 시스템 충돌.순간 트래픽이 평일의 수백, 수천 배에 달하고 데이터베이스 연결 풀이 고갈되며 서버 CPU/IO가 1001 TP3T까지 치솟아 페이지 재밍과 서비스 다운타임으로 직결됩니다.
-초과 판매는 데이터와 일치하지 않습니다.동시성이 높은 상황에서 기존의 재고 차감 로직은 동시성 문제가 발생하기 쉬우므로 재고가 마이너스(과매도)가 되어 기업 평판과 사용자 경험에 심각한 손상을 입힙니다.
-동기화 차단 및 느린 응답.사용자 주문 요청은 재고 확인, 주문 생성, 결제 초기화 및 기타 시간 소모적인 작업을 완료하기 위해 동기화되어야 하며, 이 중 하나라도 차단되면 사용자가 시간 초과를 기다리게 되고 이탈률이 급증하게 됩니다.

다음과 같은 문제로 어려움을 겪고 있다면초 단위로 발생하는 대규모 동시 요청에 원활하고 안정적이며 효율적으로 대처하는 방법문제가 있다면 메시지 큐 CKafka를 기반으로 하는 Tencent Cloud의 비동기 피크 셰이빙 솔루션이 완벽하고 확장 가능한 모범 사례를 제공할 것입니다.

솔루션 아키텍처 다이어그램 및 개요

이 프로그램의 핵심은 다음과 같습니다.“레이어드 피크 쉐이빙 및 비동기식 디커플링.”. 사용자의 즉각적인 주문 요청을 백엔드의 복잡한 업무 처리와 분리하고, 메시지 큐 CKafka를 강력한 버퍼 풀로 사용하여 트래픽 펄스를 원활하게 처리하여 핵심 시스템의 안정성을 보장합니다.

아키텍처 다이어그램.

텐센트 클라우드 C카프카 세컨즈 시스템 솔루션: 비동기식 피크 쉐이빙 및 밸리 필링, 수십억 건의 주문 폭주를 손쉽게 처리 - LikaCloud

워크플로 개요.

액세스 요청.사용자 스파이크 요청은 먼저 글로벌 가속 링크를 통과한 후 CLB 부하 분산에 의해 여러 프론트엔드 비즈니스 서버로 분산됩니다.
사전 보정.프론트엔드 서버(CVM/EKS)는 사용자 자격, 매개변수 유효성 검사, Redis를 통한 재고 잔고의 빠른 쿼리와 같은 가벼운 로직을 수행합니다. 유효성 검사가 통과되면 주문 정보가 메시지 본문으로 사용됩니다.CKafka에 즉시 쓰기그리고 “대기열에 있는” 사용자에게 신속하게 응답하세요.
봉우리를 자르고 골짜기를 채우세요.CKafka 클러스터는 높은 처리량과 지속성 기능으로 모든 일시적인 트래픽을 처리하여 완벽한 트래픽 클리핑을 지원합니다.
비동기식 소비.다운스트림 클라우드 기능인 SCF 또는 탄력적 마이크로서비스 TEM은 소비자 역할을 수행하여 CKafka에서 제어된 속도로 메시지를 가져오고 재고 차감 및 주문 취소와 같은 최종 일관성 작업을 원활하게 실행합니다.
데이터 지속성.처리 후 결과가 클라우드 데이터베이스(MySQL/CynosDB)에 기록되고 Redis의 캐시 상태가 업데이트됩니다.

핵심 제품 및 구성 요소

어셈블리	역할 수행	주요 구성/선택 권장 사항	선택하는 이유
메시지 큐 CKafka	시스템 코어 버퍼피크 쉐이빙 및 디커플링의 핵심 역할을 가정합니다.	추천 선택 사항높은 수준의 사양를 사용하여 대역폭과 처리량을 보장하고, 동시 사용량을 늘리려면 파티션 수를 소비자 수보다 크게 설정해야 합니다.	매우 높은 처리량과 확장성, Kafka 에코시스템과의 호환성, 다양한 유형의 빅데이터 도구의 원활한 통합, 유지보수가 필요 없는 관리형 서비스를 제공합니다.
클라우드 서버 CVM / Elastic 컨테이너 서비스 EKS	프론트엔드 비즈니스 로직 처리는 요청 유효성 검사, 토큰 생성 및 메시지 생성을 담당합니다.	입양볼륨 청구모드와 페어링하여엘라스틱 스트레치 그룹(AS)CPU 압력에 따라 자동으로 확장 및 축소됩니다.	안정적이고 신뢰할 수 있는 컴퓨팅 성능을 제공하며, 탄력적인 확장을 통해 급증 전후에 리소스가 자동으로 조정되므로 비용을 크게 절감할 수 있습니다.
클라우드 데이터베이스 Redis	핫 데이터 캐시초 인벤토리, 사용자 블랙리스트, 빈도 제한 등을 저장합니다.	옵션메모리 기반사양.지속성 활성화Lua 스크립트를 사용하여 인벤토리의 원자 공제를 보장합니다.	매우 높은 성능(10W+ QPS)의 단일 스레드 메모리 작업은 동시 읽기 및 쓰기가 많은 작업을 처리하는 데 유용한 도구입니다.
클라우드 기능 SCF	비동기 작업 소비자에서 메시지를 가져와 핵심 주문 로직을 처리합니다.	합리적인동시 실행그리고일괄 처리된 메시지 수를 사용하여 다운스트림 데이터베이스에 과도한 스트레스를 주지 않도록 합니다.	이벤트 중심서버리스 아키텍처를 통해 쌓이는 메시지 양에 따라 자동으로 확장 및 축소되므로 진정한 종량제 및 유지보수가 필요 없는 서비스를 실현합니다.
클라우드 데이터베이스 MySQL/TDSQL-C용 TencentDB	최종 데이터 저장주문, 제품 및 기타 정보를 영구적으로 저장합니다.	입양고가용성 에디션너무 많이3노드 엔터프라이즈 에디션를 사용하여 데이터 일관성을 보장하는 것이 좋습니다.읽기-쓰기 분리아키텍처.	고가용성 및 고성능 데이터베이스 서비스를 제공하는 TDSQL-C(CynosDB)는 특히 가격 대비 성능이 뛰어나 대규모 동시 쓰기 시나리오에 적합합니다.
로드 밸런싱 CLB	트래픽을 위한 단일 진입 지점를 사용하여 트래픽 분산 및 고가용성을 지원합니다.	옵션고성능 버전를 사용하여 대규모 동시 연결을 지원합니다.	단일 장애 지점을 제거하고 액세스 계층에서 고가용성을 보장합니다.
웹 애플리케이션 방화벽 WAF	보안 경비원를 사용하여 CC 공격, 악의적인 스와이핑 및 기타 행위를 방어합니다.	구성정밀한 CC 보호규칙 및인간과 컴퓨터의 검증정책을 프론트 로드하여 악성 트래픽을 필터링합니다.	트래픽이 비즈니스 시스템에 유입되기 전에 대부분의 공격을 차단하여 캠페인의 공정성과 비즈니스 보안을 보호합니다.

프로그램 혜택 요약

⚡ 최고의 사용자 경험.사용자 요청에 대한 빠른 응답(밀리초), 오랜 시간 기다릴 필요 없음, 시스템 지연 없음, 원활한 주문 프로세스.
? ️ 높은 시스템 가용성 및 안정성.백엔드 시스템은 트래픽 피크와 분리되어 있으며 데이터베이스 및 서비스 압력이 항상 원활하게 유지되므로 과부하로 인한 눈사태 다운타임을 완전히 방지할 수 있습니다.
? 비용 최적화를 위한 유연한 확장.모든 구성 요소는 탄력적으로 확장할 수 있어 트래픽 폭주에 대비해 대량의 유휴 리소스를 구매할 필요가 없고 IT O&M 비용을 크게 절감할 수 있습니다.
? 데이터의 최종 일관성.메시지 큐잉과 안정적인 소비 로직을 통해 재고 차감 및 주문 생성을 위한 데이터가 높은 동시성 하에서 궁극적으로 일관성을 유지하여 과잉 판매를 방지할 수 있습니다.
? ️ 유연하고 확장 가능한 분리형 아키텍처.각 모듈의 책임이 명확하며, 향후 새로운 기능(예: 포인트 차감, SMS 알림)을 확장할 때 주류 프로세스를 변경하지 않고 새로운 소비자를 추가하기만 하면 됩니다.

애플리케이션 시나리오 및 적용 대상 고객

일반적인 장면.이커머스 플랫폼의 618, 더블 11, 더블 12 등 대규모 프로모션 급증 활동, 신제품 데뷔 러시, 티켓팅 시스템의 인기 공연장 티켓 예매.
해당 고객.
- 주기적이거나 예측 가능한 트래픽 폭주에 직면하는 모든 인터넷 비즈니스.
- 하루 평균 100만 건 이상의 PV, 빠른 비즈니스 성장, 이커머스 플랫폼의 고도로 유연한 아키텍처 필요성.
- 유지 관리가 어려운 자체 구축 스파이크 시스템에서 완전히 호스팅되고 안정성이 높은 클라우드 네이티브 아키텍처로 마이그레이션하려는 기술 팀입니다.