De oplossing van Tencent Cloud voor het CKafka-secondebiedingssysteem: Asynchrone piek- en dalverwerking, waardoor het eenvoudig mogelijk is om pieken in bestellingen van honderden miljoenen aan te kunnen

Inleiding (analyse van de pijnpunten)​

Als architect of ontwikkelaar van een e-commerceplatform, maak je je elk jaar wel eens zorgen over de flash-sales? Als de klok middernacht slaat en er een enorm aantal gebruikers tegelijkertijd toestromen, wordt je systeem geconfronteerd met de volgende grote uitdagingen:

• •​Verkeerspieken, systeemcrashes:De piekbelasting was honderd of zelfs duizend keer zo groot als normaal. De database-verbindingen raakten overbelast en de CPU/IO van de server bereikte een piek van 1001 TP4T, waardoor de pagina's vastliepen en de service uitviel.
• •​Oververkoop en inconsistente gegevens:Onder hoge druk kunnen traditionele logica voor voorraadaftrekken gemakkelijk tot problemen met gelijktijdige toegang leiden, waardoor de voorraad negatief kan worden (overschot), wat de geloofwaardigheid van het bedrijf en de gebruikerservaring ernstig kan schaden.
• •​Synchronisatieblokkering, trage reacties:Als een gebruiker een bestelling plaatst, moeten verschillende tijdrovende acties gelijktijdig worden uitgevoerd, zoals het controleren van de voorraad, het aanmaken van een bestelling en het initiëren van een betaling. Als een van deze stappen wordt geblokkeerd, zal de gebruiker te maken krijgen met een time-out en zal het verliespercentage sterk toenemen.

Als je op zoek bent naarHoe kun je op een soepele, betrouwbare en efficiënte manier omgaan met een groot aantal gelijktijdige verzoeken voor flash-verkoop?Als u hierdoor wordt geconfronteerd, biedt Tencent Cloud met de asynchrone piek- en daloplossing op basis van het berichtenwachtrij-systeem Kafka u een complete en schaalbare best practice.

​Oplossingsarchitectuur en overzicht​

De kern van dit plan is dat...\n​“Gelaagde piekvermindering, asynchrone ontkoppeling”De onmiddellijke bestelverzoeken van gebruikers worden gescheiden van de complexe bedrijfsprocessen in de back-end. Met behulp van een berichtenwachtrij (Kafka) wordt een krachtige buffer gecreëerd die pieken in het verkeer opvangt en de stabiliteit van het centrale systeem garandeert.

​Architectuurdiagram:

Overzicht van de werkstroom:​

1. Toegangsverzoek:De verzoeken van gebruikers om deel te nemen aan de flash sale worden eerst via de wereldwijde versnellingslink verwerkt en vervolgens door CLB-load balancing verdeeld over meerdere voorafgaande bedrijfsservers.
2. Voorafgaande validatie:De voorafgaande server (CVM/EKS) voert lichte logica uit, zoals het controleren van de gebruikersrechten en parameters, en doorzoekt de voorraad snel via Redis. Als de controle met succes is, wordt de orderinformatie als bericht verzonden.Schrijf onmiddellijk naar Kafka.En reageer snel op gebruikers die “in de wachtrij staan”.
3. Peak shaving: het verminderen van de vraag naar energie op piekmomenten en het opvullen van de lege periodesHet CKafka-cluster kan dankzij de hoge doorvoersnelheid en de mogelijkheid om gegevens te archiveren, alle pieken in het verkeer verwerken en zorgen voor een optimale verkeersafhandeling.
4. Asynchrone consumptie:De cloudfuncties SCF of de elastische microservices TEM verderop in de keten fungeren als consumenten. Ze halen op een gecontroleerde manier berichten uit Kafka en voeren uiteindelijke consistentieacties uit, zoals het verminderen van de voorraad en het invoeren van bestellingen.
5. Datapersistentie:Na de verwerking worden de resultaten in de clouddatabase (MySQL/CynosDB) opgeslagen en wordt de cachestatus in Redis bijgewerkt.

​Detailbeschrijving van de kernproducten en -onderdelen​

Componenten	Het spelen van een rol	Belangrijke configuratie-/selectieadviezen	Waarom heb je hiervoor gekozen?
​Het berichtenwachtrij-systeem CKafka.​	​De systeemkernbufferHet speelt een cruciale rol bij het opvangen van pieken en dalen en het ontkoppelen van systemen.	Het wordt aanbevolen om te kiezen voorHoogwaardige specificatiesHet garanderen van de bandbreedte en de doorvoer; het aantal partities moet groter zijn dan het aantal consumenten om de capaciteit voor gelijktijdig verbruik te vergroten.	Het heeft een zeer hoge doorvoer en schaalbaarheid, is compatibel met het Kafka-ecosysteem, integreert naadloos met verschillende big data-tools en vereist geen beheer van de gehoste service.
​Cloudserver CVM / Elastische containerdienst EKS​	​Verwerking van de voorafgaande bedrijfslogicaVerantwoordelijk voor het verifiëren van verzoeken, het genereren van tokens en het produceren van berichten.	Het gebruiken vanBetalen per gebruikHet patroon en de bijpassende kledingElastische schaalgroep (AS)Het automatisch schalen van de capaciteit op basis van de druk op de CPU.	Het biedt stabiele en betrouwbare rekenkracht en dankzij de elastische schaalbaarheid worden de resources automatisch aangepast voor en na de piekuren, wat de kosten aanzienlijk verlaagt.
​De clouddatabase Redis​	​Cache voor hotdataHier worden onder andere de voorraad voor flashdeals, de zwarte lijst met gebruikers en de frequentiebeperkingen opgeslagen.	SelectieGeheugentypeSpecificaties,​Het activeren van de persistentieHet gebruik van Lua-scripts zorgt voor een atomaire aftrek van de voorraad.	Dankzij de single-threaded geheugenoperaties en de uitstekende prestaties (meer dan 100.000 QPS) is het een krachtig hulpmiddel om het hoofd te bieden aan een grote hoeveelheid gelijktijdige lees- en schrijfoperaties.
​Cloud Functions SCF​	​Consumenten van asynchrone takenHet ophalen van berichten uit Kafka en het verwerken van de kernlogica voor bestellingen.	Stel redelijke doelen.Het aantal gelijktijdige uitvoeringen和Het aantal berichten dat in bulk wordt verwerkt.Om te voorkomen dat de database downstream te veel onder druk komt te staan.	​EventgedrevenEen serverloze architectuur schaalt automatisch op basis van het aantal berichten en zorgt voor echte 'pay-as-you-go'-mogelijkheden en onderhoudsvrije werking.
​De clouddatabase TencentDB voor MySQL/TDSQL-C.​	​De uiteindelijke opslag van gegevens.Het permanent opslaan van informatie over bestellingen, producten, etc.	Het gebruiken vanDe versie met hoge beschikbaarheidZelfsDe zakelijke versie van Three NodesZorg voor gegevensconsistentie; het wordt aanbevolen om hiervoor te gebruikenLezen en schrijven gescheiden houdenArchitectuur.	TDSQL-C (CynosDB) biedt een zeer beschikbare en krachtige database service die bijzonder geschikt is voor omgevingen met een groot aantal gelijktijdige schrijfbewerkingen en een uitstekende prijs-kwaliteitverhouding.
​Load balancing CLB​	​Een centraal punt voor al het verkeerHet realiseren van dataverkeersdistributie en een hoge beschikbaarheid.	SelectieDe hoogpresterende versieHet ondersteunt een groot aantal gelijktijdige verbindingen.	Elimineer single points of failure en zorg voor een hoge beschikbaarheid van de toegangslaag.
​Webapplicatie firewall WAF​	​De Security GuardHet voorkomen van DDoS-aanvallen, kwaadaardige bestellingen en andere dergelijke acties.	ConfiguratieNauwkeurige bescherming tegen koolstofmonoxide (CO)Regels enVerificatie tussen mens en machineDe strategie omvat voorafgaande filtering van kwaadaardig verkeer.	Vang de meeste aanvallen op voordat ze het bedrijfssysteem binnendringen en garandeer zo de eerlijkheid van de activiteiten en de veiligheid van het bedrijf.

​Samenvatting van de voordelen van het plan​

• ⚡ Een ultieme gebruikerservaring:De gebruiker vraagt om een snelle reactie (op millisecondenniveau), zonder lange wachttijden, zonder vertragingen in het systeem en met een soepele bestelprocedure.
• ​?️ Hoge beschikbaarheid en stabiliteit van het systeem:Het ontkoppelen van het back-endsysteem van de piek in het verkeer zorgt ervoor dat de database en de services onder constante druk blijven staan en dat er geen storingen meer optreden door een overbelasting.
• Flexibele schaalbaarheid, kostenoptimalisatie: ​Alle componenten zijn flexibel schaalbaar, waardoor er geen grote hoeveelheden ongebruikte resources meer hoeven te worden gekocht voor piekverkeer. Dit leidt tot een aanzienlijke verlaging van de IT-beheerkosten.
• ? Eindconsistentie van de gegevens:Door middel van een berichtenwachtrij en betrouwbare consumptielogica wordt gegarandeerd dat de gegevens over de voorraadafbouw en het genereren van bestellingen bij hoge werkbelasting uiteindelijk consistent zijn en dat er geen overselling plaatsvindt.
• ?️ Ontkoppeling van de architectuur, flexibel en schaalbaar:De verantwoordelijkheden van de verschillende modules zijn duidelijk. Voor het toevoegen van nieuwe functionaliteiten in de toekomst (zoals het verrekenen van punten of sms-notificaties) hoeven er geen wijzigingen in het hoofdproces te worden aangebracht; het is voldoende om nieuwe consumenten toe te voegen.

​Toepassingsscenario's en geschikte klanten​

• Typisch scenario:De seconde-verkoopacties van e-commerceplatforms als 618, Double 11 en Double 12; het kopen van nieuwe producten bij de introductie; en het bemachtigen van tickets voor populaire evenementen in het ticketsysteem.
• Toepasselijke klanten:​
  • Alle internetbedrijven die te maken hebben met periodieke of voorspelbare pieken in het dataverkeer.
  • Het e-commerceplatform heeft dagelijks meer dan een miljoen pageviews, kent een snelle bedrijfsgroei en heeft een zeer flexibele architectuur nodig.
  • Een technisch team dat wil overstappen van een moeilijk te onderhouden eigen systeem voor flash sales naar een volledig beheerde, uiterst betrouwbare cloud-native architectuur.

​Gerelateerde links