Solutions Elastic Search : Le service Elasticsearch, moteur de recherche natif pour l'informatique en nuage, permet d'atteindre des niveaux d'accès élevés pour les entreprises à moindre coût

Introduction (analyse des points douloureux)​

Pour les développeurs et les architectes de plateformes de contenu, de sites web de commerce électronique ou d'applications d'entreprise à croissance rapide, un moteur de recherche puissant et flexible est l'infrastructure de base qui permet d'améliorer l'expérience des utilisateurs et l'efficacité de l'entreprise. Cependant, lorsque vous créez votre propre moteur de recherche ou que vous utilisez des services de recherche traditionnels dans le nuage, vous êtes souvent confrontés à ces problèmes :

• Les pics de trafic sont difficiles à gérer.Lors de promotions importantes et d'événements brûlants, le QPS des requêtes montait instantanément en flèche et les ressources fixes du cluster étaient surchargées, ce qui entraînait une réponse lente, voire une indisponibilité du service de recherche, avec des conséquences directes sur la conversion des utilisateurs et le chiffre d'affaires de l'entreprise.
• Il est difficile d'équilibrer les ressources et les coûts.Pour garantir la stabilité pendant les périodes de pointe, vous devez allouer des ressources au trafic le plus élevé, mais pendant la grande majorité des périodes creuses, un grand nombre de ressources de calcul et de stockage restent inutilisées, ce qui entraîne des coûts inutiles importants.
• Grande complexité de l'exploitation et de la gestion.L'expansion et la contraction des clusters, la mise à jour des versions, la gestion des index, le réglage des performances et d'autres travaux d'exploitation et de maintenance nécessitent l'investissement d'une équipe professionnelle et beaucoup d'énergie, le seuil technique est élevé, ce qui détourne l'attention de l'activité principale.

​Si vous êtes aux prises avec la stabilité, le coût élevé et les lourdes opérations d'exploitation et de maintenance des services de recherche, cet article vous fournira une solution complète de recherche élastique native dans le nuage.​

​Diagramme et aperçu de l'architecture de la solution​

​Objectif.Une image vaut mille mots et donne au lecteur une vue d'ensemble.

​Diagramme d'architecture.

Aperçu de l'architecture.​

L'application de l'utilisateur (Web/App/serveur) lance une requête de recherche, qui est d'abord distribuée via Tencent Cloud Load Balancing (CLB), puis la requête accède au service Tencent Cloud Elasticsearch (ES) via un réseau privé sécurisé (VPC).Architecture sans serveurOuGroupes de mise à l'échelle élastiques basés sur des mesures de surveillanceLe cluster ES peut être dimensionné en quelques secondes en fonction de la pression des requêtes en temps réel. Les données sont écrites en temps réel par l'intermédiaire de composants tels que Kafka, et à l'intérieur du cluster ES par l'intermédiaire de l'applicationSéparation intelligente du chaud et du froidLe mécanisme stocke les données chaudes à haute fréquence d'accès sur des disques SSD pour garantir les performances, évacue automatiquement les données froides à faible fréquence d'accès vers le stockage d'objets (COS) et réduit encore les coûts de stockage grâce à la technologie de compression ZSTD. L'ensemble de la solution permet d'optimiser les coûts tout en garantissant un temps de réponse de l'ordre de la milliseconde et une haute disponibilité.

​Proposition de valeur.Adoption du programmeExtrême élasticitéFaire face aux pics de trafic enSuperposition et compression intelligentesRéduire les coûts intégrés grâce àServices entièrement gérésIl élimine le fardeau de l'exploitation et de la maintenance et résout parfaitement tous les problèmes soulevés dans l'introduction.

​Produits et composants de base​

• Nom du composant.​ ​Tencent Cloud Elasticsearch Service (ES)​
  • Jouer le rôle.Au cœur de la solution, un service de moteur de recherche et d'analyse distribué est fourni pour traiter toutes les demandes d'indexation et d'interrogation des données.
  • Principales recommandations en matière de configuration et de sélection.​
    • Sélection de l'architecture.Hautement recommandé pour les scénarios où le trafic fluctue fortement.Version sans serveurIl permet réellement une mise à l'échelle élastique en fonction de l'utilisation et de la milliseconde. Pour les scénarios avec des fluctuations régulières, vous pouvez choisir la version de mise à l'échelle élastique et mettre en place une politique de mise à l'échelle basée sur l'utilisation du CPU ou le QPS de la requête.
    • Configuration du nœud.Il est recommandé d'activernœud maître exclusifpour améliorer la stabilité de la grappe ; les nœuds de données utilisentHaute IOOuobjectif généralavec des disques cloud SSD pour des performances d'E/S optimales.
    • Configuration de la fonction.Veillez à allumerGestion du cycle de vie de l'indexation (ILM)pour automatiser la stratification chaud-température-froid ; activer la fonctionCompression ZSTDpour des taux de compression plus élevés et des vitesses de compression plus rapides.
  • Pourquoi le choisir ?Tencent Cloud ES est un service entièrement géré Elasticsearch open source compatible 100% qui offre toutes les capacités de l'open source, ainsi que des fonctionnalités à valeur ajoutée telles que la sécurité de niveau entreprise, la surveillance et les alertes, et les mises à niveau en un clic, de sorte que les utilisateurs n'ont pas à se soucier de l'infrastructure sous-jacente et n'ont qu'à se concentrer sur la logique commerciale de la recherche elle-même.
• ​Nom du composant.​ ​Tencent Cloud Object Storage (COS)​
  • Jouer le rôle.Il sert de stockage sous-jacent au niveau des données froides de l'ES, hébergeant des données archivées à faible fréquence d'accès et fournissant des services de stockage très fiables et très peu coûteux.
  • Principales recommandations en matière de configuration et de sélection.Créé pour ES Cold DataStockage standardOuStockage des basses fréquencesLes seaux sont suffisants, avec une durabilité allant jusqu'à 99,999999999999% (12 9s), sans configuration supplémentaire.
  • ​Pourquoi le choisir ?Le COS a un coût de stockage beaucoup plus faible que le stockage en bloc à haute performance, et en s'intégrant de manière transparente aux capacités ILM d'ES, les données froides peuvent être enfouies de manière insensée, réduisant les coûts de stockage de plus de 80% sans perdre la traçabilité des données.
• Nom du composant.​ ​Tencent Cloud Load Balancing (CLB)​
  • Jouer le rôle.En tant qu'entrée unifiée du service, il distribue automatiquement les demandes de recherche massives à plusieurs nœuds de données ES dans le backend, en éliminant les points de défaillance uniques et en fournissant des capacités telles que le délestage HTTPS.
  • Principales recommandations en matière de configuration et de sélection.optionAppliqué CLBIl est recommandé de lier l'IP publique résiliente et de configurer la limite de bande passante. Il est recommandé de lier l'IP publique résiliente et de configurer la limite de bande passante.
  • Pourquoi le choisir ?Réaliser l'équilibrage de charge du trafic d'accès pour améliorer la disponibilité et l'évolutivité du service, tout en protégeant les détails internes de la grappe d'arrière-plan du client, ce qui en facilite la gestion.

​Résumé des avantages du programme​

• ⚡ Élasticité extrême avec mise à l'échelle seconde par seconde.Grâce à l'adoption d'un groupe de mise à l'échelle sans serveur ou élastique, il peut être instantanément étendu à l'échelle requise en fonction de la pression commerciale, et les ressources sont automatiquement récupérées après le pic de trafic, ce qui permet de réaliser véritablement le paiement à l'utilisation.
• 💸 Réduire considérablement les coûts globaux.Grâce à la séparation intelligente des données chaudes et froides et à la technologie de compression ZSTD, il réduit le coût du stockage des données froides de plus de 80% et évite le gaspillage généré par la réservation d'une grande quantité de ressources pour faire face aux pics, et le coût global peut être optimisé de 50%+.
• 🛡️ Prêt à l'emploi, de qualité professionnelle, hautement disponible.Il offre une disponibilité de service SLA de 99,95%, un mécanisme de réplique intégré, un déploiement de disponibilité croisée, une capacité de basculement automatique et des fonctions de sécurité telles que l'isolation du réseau VPC, les groupes de sécurité, les journaux d'accès, etc. pour assurer la continuité des activités et la sécurité des données.
• 🔧 Libre sur le plan opérationnel et axé sur l'innovation commerciale.Le service entièrement géré élimine les tâches fastidieuses d'exploitation et de maintenance telles que le déploiement du matériel, l'installation du logiciel, la mise à niveau de la version, la récupération des pannes, etc. Il vous suffit d'effectuer une configuration simple par le biais de la console ou de l'API, vous pouvez obtenir une puissante capacité de recherche, de sorte que l'équipe peut se concentrer davantage sur le développement de l'activité de base.

​Scénarios d'application et clients concernés​

• Scénarios d'application typiques.​
  • Site/application de commerce électronique.Recherche de produits, filtrage, listes recommandées, pour faire face aux 618, doubles onze et autres grandes promotions pendant la requête massive instantanée.
  • Plates-formes de contenu et d'information.Recherche par mots-clés et recherche en texte intégral pour les actualités, les vidéos, les articles et plus encore.
  • Analyse des journaux et surveillance des opérations (ELK).Collecte, stockage et analyse en temps réel de données logs massives provenant de serveurs et d'applications d'entreprise à des fins de dépannage et d'analyse de l'activité.
  • Recherche de données intra-entreprise.Tels que CRM, ERP et autres systèmes dans le cadre de la demande d'informations sur les clients, les commandes et les produits.
• Caractéristiques des clients concernés.​
  • La charge de travail connaît des pics et des creux importants et les pics sont imprévisibles.
  • La quantité de données est énorme (niveau TB-PB) et l'accès aux données présente une caractéristique claire de chaud et de froid.
  • Les moyennes et grandes entreprises qui recherchent des solutions rentables et souhaitent optimiser leurs coûts d'infrastructure.
  • L'absence d'une équipe professionnelle d'exploitation d'Elasticsearch pour tous les développeurs qui veulent un service de recherche prêt à l'emploi, stable et fiable.

​Liens connexes​