Trang chủ/Giải pháp/Dữ liệu lớn và AI/Chi tiết nội dung

Giới thiệu (Phân tích điểm đau)​​

Là một kỹ sư dữ liệu hoặc kiến trúc sư, bạn có đang gặp phải những vấn đề sau đây không?

  • Ốc đảo dữ liệu và khó khăn trong quản trị:​Dữ liệu kinh doanh phân tán trên hàng chục nguồn dữ liệu như MySQL, Kafka, tệp nhật ký, CSV, với định dạng khác nhau, khó quản lý thống nhất và đảm bảo chất lượng dữ liệu.
  • ​Chi phí mất kiểm soát:Để đối phó với đỉnh điểm kinh doanh định kỳ (như đợt khuyến mãi lớn, sự kiện), nền tảng dữ liệu lớn truyền thống (như Hadoop tự xây dựng) cần cấu hình tài nguyên phần cứng theo nhu cầu đỉnh điểm, dẫn đến tài nguyên nhàn rỗi phần lớn thời gian, chi phí cao.
  • ​Nút cổ chai hiệu suất:Quy trình ETL truyền thống phức tạp và kéo dài, từ khi dữ liệu được nhập kho đến khi báo cáo được tạo ra thường mất T+1 ngày, không thể đáp ứng nhu cầu cấp thiết của nghiệp vụ về phân tích dữ liệu thời gian thực, khiến quyết định luôn chậm hơn một bước.
  • ​Kiến trúc phức tạp, vận hành bảo trì nặng nề:Duy trì hoạt động ổn định của cả một cụm dữ liệu lớn (HDFS, Hive, Spark, Presto) đòi hỏi đầu tư nhiều nhân lực vận hành chuyên nghiệp, ngưỡng kỹ thuật cao, khó khăn trong việc xử lý sự cố.

​Nếu bạn đang gặp khó khăn với các vấn đề trên, bài viết này sẽ cung cấp cho bạn một giải pháp toàn diện dựa trên kho dữ liệu đám mây gốc của Tencent, nhằm thực hiện phân tích dữ liệu thời gian thực cấp PB hiệu quả, tiết kiệm chi phí và thống nhất.​

​ Sơ đồ kiến trúc và tổng quan giải pháp​

​Sơ đồ kiến trúc

Giải pháp phân tích dữ liệu thời gian thực PB: Kiến trúc thực tiễn dựa trên hồ dữ liệu đám mây gốc của Tencent - LikaCloud

Tổng quan:​

Cốt lõi của giải pháp này là​“Tách biệt lưu trữ và tính toán”​và​“Quản lý siêu dữ liệu thống nhất”​。Tất cả dữ liệu gốc được lưu trữ thống nhất vàoDịch vụ lưu trữ đối tượng (COS) của Tencent Cloud​，có độ tin cậy cao và chi phí thấp, tạo nền tảng cho hồ dữ liệu.​Dịch vụ tính toán hồ dữ liệu (DLC)​ đóng vai trò bộ não, chịu trách nhiệm quản lý siêu dữ liệu thống nhất, kiểm soát quyền truy cập và quản trị dữ liệu, không cần tự xây dựng Hive Metastore.​Dịch vụ MapReduce đàn hồi (EMR)​ đóng vai trò công cụ tính toán mạnh mẽ, khởi động cụm theo nhu cầu, thông qua các framework tính toán tiêu chuẩn như Spark, Presto để phân tích trực tiếp dữ liệu trong COS, giải phóng tài nguyên ngay sau khi nhiệm vụ hoàn thành. Cuối cùng, kết quả phân tích có thể được sử dụng trực tiếp bởi các công cụ BI, ứng dụng dữ liệu hoặc nền tảng AI.

​Đề xuất Giá trị:Giải pháp này hoàn toàn giải quyết các điểm đau trong phần giới thiệu, giảm chi phí lưu trữ và tính toán thông qua tách biệt lưu trữ và tính toán, phá vỡ các silo dữ liệu thông qua siêu dữ liệu thống nhất, thực hiện phân tích nhanh chóng thông qua công cụ tính toán Serverless linh hoạt, và giảm thiểu độ phức tạp vận hành xuống mức thấp nhất.

​Giải thích chi tiết về sản phẩm cốt lõi và thành phần​

  • Tên thành phần:​​ ​Dịch vụ lưu trữ đối tượng (COS) của Tencent Cloud​​
    • ​Đóng vai trò:​​ Toàn bộ kiến trúc củaLớp lưu trữ bền vững, lưu trữ tất cả dữ liệu gốc, dữ liệu đã xử lý và kết quả tính toán.
    • Các đề xuất cấu hình/lựa chọn quan trọng:Đối với dữ liệu nóng cần phân tích thường xuyên, sử dụngLưu trữ tiêu chuẩn，Đối với dữ liệu lạnh đã lưu trữ, sử dụngLưu trữ lưu trữ，tận dụng chính sách vòng đời để chuyển đổi tự động, tối đa hóa tiết kiệm chi phí.
    • Tại sao chọn nó:​​ Cung cấp dung lượng không giới hạn, độ tin cậy dữ liệu 99.999999999%, là nền tảng lý tưởng để xây dựng hồ dữ liệu. Tích hợp nguyên bản liền mạch với EMR, DLC, tối ưu hóa hiệu suất xuất sắc.
  • ​Tên thành phần:​​ ​Dịch vụ tính toán hồ dữ liệu (DLC)​
    • ​Đóng vai trò:​​ Kiến trúc của​ “Bộ não thông minh”​, cung cấp dịch vụ quản lý siêu dữ liệu thống nhất, kiểm soát quyền và truy cập dữ liệu, danh mục dữ liệu SQL và dịch vụ truy vấn tương tác Serverless.
    • Các đề xuất cấu hình/lựa chọn quan trọng:​ Sử dụng trực tiếp chế độ Serverless, không cần cấp sẵn tài nguyên. Thông qua chức năng danh mục dữ liệu, dễ dàng kết nối với dữ liệu trên COS và định nghĩa cấu trúc bảng.
    • Tại sao chọn nó:​​ Nó giải quyết triệt để vấn đề silo siêu dữ liệu. Các công cụ như EMR, BI đều có thể truy cập chế độ xem siêu dữ liệu thống nhất thông qua DLC, đạt được quản lý nhất quán về quyền và cấu trúc bảng. Khả năng Spark Serverless của nó còn có thể thực hiện gửi công việc Spark mà không cần cảm nhận, giảm thiểu đáng kể việc vận hành.
  • ​Tên thành phần:​​ ​Dịch vụ MapReduce đàn hồi (EMR)​
    • Đóng vai trò:​​ Cốt lõi làcông cụ tính toán đàn hồichịu trách nhiệm chạy các tác vụ xử lý dữ liệu quy mô lớn (như ETL, truy vấn tương tác, học máy).
    • ​Các đề xuất cấu hình/lựa chọn quan trọng:Lựa chọnThanh toán theo lượng dùng和Đàn hồi và kéo dàiChế độ, tự động mở rộng/thu nhỏ các nút Task dựa trên tải CPU/bộ nhớ. Chọn triển khai cùng khu vực với COS, DLC để có hiệu suất tối ưu.
    • ​Tại sao chọn nó:​Cung cấp khả năng toàn diện cho hệ sinh thái dữ liệu lớn mã nguồn mở (Hadoop, Spark, Presto, Hbase, v.v.) và tích hợp sâu với Đám mây Tencent, sẵn sàng sử dụng ngay. Khả năng co giãn linh hoạt đảm bảo sử dụng tài nguyên hiệu quả, chỉ trả tiền cho lượng tính toán thực tế sử dụng.

​Tổng kết ưu điểm của giải pháp​

  • ? Tối ưu hóa chi phí tối đa:Tách biệt lưu trữ và tính toán, tài nguyên tính toán co giãn theo nhu cầu, so với cụm cố định tự xây dựng truyền thống,Tổng chi phí có thể giảm hơn 50%。
  • ​⚡ Phân tích hiệu quả và vận hành linh hoạt:Không cần di chuyển dữ liệu, EMR có thể phân tích dữ liệu COS tốc độ cao trực tiếp; DLC quản lý siêu dữ liệu thống nhất,Xây dựng nền tảng dữ liệu lớn trong vài phút，khối lượng công việc vận hành giảm 90%。
  • ? Phá vỡ silo dữ liệu:​​ Một bộ dữ liệu được lưu trữ trong COS, thông qua chế độ xem thống nhất của DLC được chia sẻ và phân tích bởi nhiều công cụ tính toán (EMR, hàm đám mây, v.v.), thực sự đạt đượcdữ liệu phổ quát。
  • ?️ Quản trị an ninh cấp doanh nghiệp:​​ DLC cung cấp kiểm soát quyền truy cập dữ liệu ở cấp độ cột, tích hợp liền mạch với CAM,​Nhật ký kiểm toánđầy đủ, đáp ứng yêu cầu an ninh dữ liệu và tuân thủ của doanh nghiệp.

​Kịch bản ứng dụng và khách hàng phù hợp​

  • Các tình huống ứng dụng điển hình:​​
    • Truy vấn tức thời tương tác:Nhà phân tích dữ liệu sử dụng Presto/Spark SQL thông qua DLC để truy vấn nhanh lượng dữ liệu lịch sử khổng lồ, nhận kết quả tức thì.
    • Phân tích nhật ký thời gian thực:Nhật ký nghiệp vụ được ghi vào COS/Kafka theo thời gian thực, xử lý và phân tích gần thời gian thực thông qua EMR Streaming hoặc Spark Streaming để giám sát trạng thái nghiệp vụ.
    • Học máy và khai phá dữ liệu:Sử dụng cụm Spark on k8s của EMR để đọc trực tiếp dữ liệu huấn luyện từ COS, thực hiện đào tạo mô hình quy mô lớn.
  • Đặc điểm khách hàng phù hợp:​​
    • Khối lượng dữ liệu đã đạtmức TB đến PBvà đang tiếp tục tăng ở các doanh nghiệp truyền thống, công ty internet.
    • Yêu thích sâu sắcKho dữ liệu truyền thống mở rộng đắt đỏ, tắc nghẽn hiệu suấtNhóm bị làm phiền.
    • Mong muốnTích hợp nhiều nguồn dữ liệuKhách hàng xây dựng tầm nhìn dữ liệu thống nhất cho doanh nghiệp.
    • Nhóm mong muốnTập trung vào phát triển dữ liệu kinh doanh thay vì vận hành và bảo trì cơ sở hạ tầng cơ bản。

​Các liên kết có liên quan​

Thẻ: