소개(고충 분석)
빠르게 성장하는 콘텐츠 플랫폼, 전자상거래 웹사이트 또는 엔터프라이즈 애플리케이션의 백엔드 개발자와 아키텍트에게 강력하고 유연한 검색 엔진은 사용자 경험과 비즈니스 효율성을 향상시키는 핵심 인프라입니다. 하지만 직접 구축하거나 클라우드에서 기존 검색 서비스를 사용할 때 종종 이러한 문제에 직면하게 됩니다:
- 트래픽 피크는 대처하기 어렵습니다.대규모 프로모션이나 핫 이벤트가 발생하면 쿼리 QPS가 순식간에 급증하고 고정 클러스터 리소스에 과부하가 걸려 검색 서비스의 응답이 느려지거나 다운타임이 발생해 사용자 전환율과 비즈니스 수익에 직접적인 영향을 미쳤습니다.
- 리소스와 비용의 균형을 맞추기가 어렵습니다.트래픽이 많은 기간에는 안정성을 보장하기 위해 트래픽이 가장 많은 곳에 리소스를 할당해야 하지만, 대부분의 평상시에는 많은 컴퓨팅 및 스토리지 리소스가 유휴 상태로 남아 있어 상당한 비용 낭비를 초래합니다.
- 높은 O&M 복잡성.클러스터 확장 및 축소, 버전 업그레이드, 인덱스 관리, 성능 조정 및 기타 운영 및 유지 관리 작업에는 전문 팀의 투자와 많은 에너지가 필요하며 기술 문턱이 높아 핵심 비즈니스에 집중할 수 없게 됩니다.
검색 서비스의 안정성, 높은 비용, 과중한 O&M으로 어려움을 겪고 계신다면 이 글에서 완벽한 클라우드 네이티브 탄력적 검색 솔루션을 소개합니다.
솔루션 아키텍처 다이어그램 및 개요
목표.사진은 천 마디 말보다 가치가 있으며 독자에게 큰 그림을 보여줍니다.
아키텍처 다이어그램.
아키텍처 개요.
사용자의 애플리케이션(웹/앱/서버)이 검색 요청을 시작하면 먼저 Tencent Cloud Load Balancing(CLB)을 통해 분산된 다음 요청이 보안 사설망(VPC)을 통해 Tencent Cloud Elasticsearch(ES) 서비스에 액세스하며, ES 클러스터는 다음을 사용합니다.서버리스 아키텍처또는모니터링 메트릭에 기반한 탄력적인 그룹 확장ES 클러스터는 컴퓨팅 노드의 실시간 쿼리 압력에 따라 몇 초 만에 확장할 수 있습니다. 데이터는 Kafka와 같은 구성 요소를 통해 실시간으로 기록되며, ES 클러스터 내부에서는지능형 고온 및 저온 분리이 메커니즘은 액세스 빈도가 높은 핫 데이터를 SSD 디스크에 저장하여 성능을 보장하고, 액세스 빈도가 낮은 콜드 데이터를 오브젝트 스토리지(COS)에 자동으로 싱크하며, ZSTD 압축 기술을 통해 스토리지 비용을 더욱 절감합니다. 전체 솔루션은 밀리초 단위의 응답과 고가용성을 보장하면서 궁극적인 비용 최적화를 달성합니다.
가치 제안.프로그램 채택극도의 탄력성다음과 같은 방법으로 트래픽 폭주에 대처하세요.지능형 레이어링 및 압축다음을 통해 통합 비용 절감완전 관리형 서비스O&M에 대한 부담을 없애고 소개에서 제기된 모든 문제점을 완벽하게 해결합니다.
핵심 제품 및 구성 요소
- 컴포넌트 이름. 텐센트 클라우드 엘라스틱서치 서비스(ES)
- 역할 수행하기.전체 솔루션의 핵심인 분산형 검색 및 분석 엔진 서비스는 모든 데이터 인덱싱 및 쿼리 요청을 처리하기 위해 제공됩니다.
- 주요 구성/선택 권장 사항
- 아키텍처 선택.트래픽이 급격하게 변동하는 시나리오에 적극 권장합니다.서버리스 버전실제로 종량제 및 밀리초 단위의 탄력적 확장을 실현합니다. 정기적으로 변동이 있는 시나리오의 경우 탄력적 확장 버전을 선택하고 CPU 사용량 또는 쿼리 QPS를 기반으로 확장 정책을 설정할 수 있습니다.
- 노드 구성.사용하도록 권장독점 마스터 노드를 사용하여 클러스터 안정성을 향상시키고, 데이터 노드는높은 IO또는일반 목적인스턴스를 SSD 클라우드 드라이브와 함께 사용하여 최적의 I/O 성능을 제공합니다.
- 기능 구성.전원을 켜야 합니다.인덱싱 수명 주기 관리(ILM)기능을 사용하여 고온-저온 층화를 자동화하고, 고온-저온 층화를 자동화하는ZSTD 압축를 사용하면 압축률이 높아지고 압축 속도가 빨라집니다.
- 선택하는 이유.Tencent Cloud ES는 100% 호환 오픈 소스 Elasticsearch 완전 관리형 서비스로, 오픈 소스의 모든 기능은 물론 엔터프라이즈급 보안, 모니터링 및 알림, 원클릭 업그레이드와 같은 부가 가치 기능을 제공하므로 사용자는 기본 인프라에 신경 쓸 필요가 없고 검색 비즈니스 로직 자체에만 집중하면 됩니다.
- 컴포넌트 이름. 텐센트 클라우드 오브젝트 스토리지(COS)
- 역할 수행하기.ES 콜드 데이터 계층의 기본 스토리지 역할을 하며, 액세스 빈도가 낮은 아카이브 데이터를 보관하고 매우 안정적이고 매우 저렴한 스토리지 서비스를 제공합니다.
- 주요 구성/선택 권장 사항ES 콜드 데이터용으로 생성표준 스토리지또는저주파 스토리지버킷은 추가 구성 없이도 최대 99.999999999999%(12 9초)의 내구성으로 충분합니다.
- 선택하는 이유.COS는 고성능 블록 스토리지보다 스토리지 비용이 훨씬 저렴하며, ES의 ILM 기능과 원활하게 통합되어 콜드 데이터를 무의미하게 매몰시킬 수 있어 데이터 추적성을 잃지 않고 스토리지 비용을 80% 이상 절감할 수 있습니다.
- 컴포넌트 이름. 텐센트 클라우드 부하 분산(CLB)
- 역할 수행하기.서비스에 대한 통합 입구로서 백엔드의 여러 ES 데이터 노드에 대규모 검색 요청을 자동으로 분산하여 단일 장애 지점을 제거하고 HTTPS 오프로딩과 같은 기능을 제공합니다.
- 주요 구성/선택 권장 사항옵션적용된 CLB를 ES 노드의 포트 9200으로 포워딩하는 TCP/UDP 리스너로 구성합니다. 탄력적 공인 IP를 바인딩하고 대역폭 제한을 구성하는 것이 좋습니다.
- 선택하는 이유.액세스 트래픽의 부하 분산으로 서비스 가용성과 확장성을 개선하는 동시에 백엔드 클러스터의 내부 세부 정보를 클라이언트로부터 보호하여 관리가 더욱 쉬워집니다.
프로그램 혜택 요약
- 초 단위 확장을 통한 뛰어난 복원력 ⚡ 초 단위 확장을 통한 뛰어난 복원력.서버리스 또는 탄력적 확장 그룹을 채택하면 비즈니스 압력에 따라 필요한 규모로 즉시 확장할 수 있으며, 트래픽 피크가 발생한 후에는 리소스가 자동으로 복구되므로 진정한 의미의 종량제를 실현할 수 있습니다.
- 💸 전체 비용을 크게 절감할 수 있습니다.지능형 핫 데이터와 콜드 데이터 분리 및 ZSTD 압축 기술을 통해 콜드 데이터 스토리지 비용을 80% 이상 절감하고 피크에 대처하기 위해 많은 양의 리소스를 비축하여 발생하는 낭비를 방지하며, 종합 비용을 50%+까지 최적화할 수 있습니다.
- 🛡️ 즉시 사용 가능한 엔터프라이즈급 고가용성.99.95% 서비스 가용성 SLA, 내장된 복제 메커니즘, 교차 가용성 배포, 자동 장애 조치 기능, VPC 네트워크 격리, 보안 그룹, 액세스 로그 등의 보안 기능을 제공하여 비즈니스 연속성 및 데이터 보안을 보장합니다.
- 🔧 운영이 자유롭고 비즈니스 혁신에 집중할 수 있습니다.완전 관리형 서비스는 하드웨어 배포, 소프트웨어 설치, 버전 업그레이드, 장애 복구 등과 같은 지루한 운영 및 유지 관리 작업을 없애줍니다. 콘솔 또는 API를 통해 간단한 구성만 하면 강력한 검색 기능을 사용할 수 있으므로 팀은 핵심 비즈니스 개발에 더 집중할 수 있습니다.
애플리케이션 시나리오 및 적용 대상 고객
- 일반적인 애플리케이션 시나리오.
- 전자상거래 웹사이트/앱.상품 검색, 필터링, 추천 목록, 618, 더블 11 및 기타 대규모 프로모션에 대응하기 위해 순간적으로 대규모 쿼리가 발생하는 동안에도 상품 검색, 필터링, 추천 목록을 제공합니다.
- 콘텐츠 및 정보 플랫폼뉴스, 동영상, 기사 등에 대한 키워드 검색 및 전체 텍스트 검색.
- 로그 분석 및 운영 모니터링(ELK).엔터프라이즈 서버 및 애플리케이션의 방대한 로그 데이터를 실시간으로 수집, 저장, 분석하여 문제 해결 및 비즈니스 인사이트를 확보하세요.
- 기업 내 데이터 검색.고객, 주문, 제품 정보 쿼리 내의 CRM, ERP 및 기타 시스템과 같은 시스템.
- 적용 가능한 고객 특성.
- 비즈니스 부하에는 상당한 피크와 밸런스가 있으며 피크는 예측할 수 없습니다.
- 데이터의 양이 방대하고(TB-PB 수준) 데이터 액세스의 핫 앤 콜드 특성이 뚜렷합니다.
- 비용 효율적인 솔루션을 찾고 인프라 비용을 최적화하고자 하는 중대형 기업.
- 즉시 사용 가능하고 안정적이며 신뢰할 수 있는 검색 서비스를 원하는 모든 개발자를 위한 전문 Elasticsearch 운영팀의 부재.
한국어