Giải pháp lưu trữ và tính toán dữ liệu lớn chi phí thấp: Kiến trúc lưu trữ đối tượng + tách biệt tính toán giảm chi phí 50%

Giới thiệu (Phân tích điểm đau)​​

Là người phụ trách nền tảng dữ liệu lớn, bạn có đang đối mặt với những thách thức sau đây không?

• Chi phí lưu trữ tăng mạnh:​​ Khối lượng dữ liệu tăng với tốc độ 50% mỗi năm, giải pháp lưu trữ HDFS truyền thống cần liên tục mở rộng máy chủ, chi phí mua sắm phần cứng và vận hành trung tâm dữ liệu trở thành gánh nặng nặng nề.
• ​Lãng phí tài nguyên tính toán:​​ Để đối phó với các đỉnh cao tính toán thỉnh thoảng xuất hiện (như tạo báo cáo cuối tháng, kiểm toán hàng năm), phải duy trì lâu dài một cụm Hadoop/Spark khổng lồ, dẫn đến mức sử dụng CPU trung bình dưới 20%, tài nguyên bị lãng phí nghiêm trọng.
• Nút cổ chai về khả năng mở rộng:​Lưu trữ và tính toán được kết hợp chặt chẽ, khi mở rộng lưu trữ phải đồng thời mở rộng nút tính toán, thao tác phức tạp, không thể đạt được sự co giãn linh hoạt độc lập của tài nguyên.
• ​Vận hành kỹ thuật phức tạp:Xây dựng cụm tự quản yêu cầu đội ngũ chuyên nghiệp để liên tục nâng cấp phiên bản, xử lý sự cố và tối ưu hiệu suất, rào cản kỹ thuật cao, làm phân tán nguồn lực vốn nên tập trung cho đổi mới nghiệp vụ dữ liệu.

​Tóm tắt trong một câu:Nếu bạn đang gặp khó khăn với chi phí cơ sở hạ tầng dữ liệu lớn ngày càng tăng và công việc vận hành bảo trì nặng nề, thì bài viết này sẽ cung cấp cho bạn một giải pháp toàn diện dựa trên kiến trúc tách biệt lưu trữ và tính toán của Alibaba Cloud, nhằm giảm chi phí và tăng hiệu quả.

​Sơ đồ kiến trúc và tổng quan giải pháp​

​Sơ đồ kiến trúc

Tổng quan:​

Cốt lõi của giải pháp này là"Tách biệt lưu trữ và tính toán"​ và ​​"Serverless hóa"​. Tất cả dữ liệu được lưu trực tiếp vào​ Lưu trữ đối tượng Alibaba Cloud (OSS)​Sử dụng khả năng lưu trữ phân tầng dung lượng vô hạn và chi phí thấp (tiêu chuẩn, tần suất thấp, lưu trữ) của nó làm nền tảng lưu trữ bền vững cho hồ dữ liệu. Các tác vụ tính toán được thực hiện bởiElastic Container Instance (ECI)vàE-MapReduce Serverless​ Được hỗ trợ bởi các engine không máy chủ, chúng chỉ được khởi động trong vài giây khi tác vụ chạy, tính phí dựa trên lượng tài nguyên tính toán thực tế sử dụng (CPU/bộ nhớ/thời gian chạy), và giải phóng ngay sau khi tác vụ hoàn thành. Toàn bộ quá trình được điều khiển bởi sự kiện (như tệp mới được tải lên OSS), không cần quản lý bất kỳ máy chủ nào.

​Đề xuất Giá trị:​ Giải pháp này nhắm thẳng vào điểm đau, bằng cách chuyển đổi chi phí cụm cố định cao thành chi phí lưu trữ cực thấp + chi phí tính toán theo nhu cầu, tổng chi phí có thể giảm hơn 50%, và hoàn toàn giải phóng áp lực vận hành.

​Giải thích chi tiết về sản phẩm cốt lõi và thành phần​

• Tên thành phần:​​ ​​ Lưu trữ đối tượng Alibaba Cloud (OSS)​​
  • ​Đóng vai trò:​​ Toàn bộ kiến trúc củanền tảng lưu trữ cốt lõi, chứa tất cả dữ liệu.
  • Các đề xuất cấu hình/lựa chọn quan trọng:​
    • ​Dữ liệu nóng được truy cập thường xuyên:Sử dụngLưu trữ tiêu chuẩnloại.
    • Dữ liệu ấm thỉnh thoảng truy cập:​Sử dụngTruy cập tần suất thấpLoại lưu trữ (chi phí truy cập thấp, chi phí lưu trữ thấp hơn).
    • ​Dữ liệu lạnh lưu trữ/sao lưu:​Sử dụngLưu trữ或Lưu trữ lạnhLoại lưu trữ (chi phí thấp nhất).
    • thông qua cấu hìnhQuy tắc vòng đờiThực hiện chuyển đổi tự động dữ liệu từ tiêu chuẩn -> tần suất thấp -> lưu trữ, tối đa hóa tiết kiệm chi phí.
  • Tại sao chọn nó:​Cung cấp độ bền dữ liệu 12 số 9, chi phí chỉ bằng 1/3 hoặc thấp hơn so với lưu trữ ổ cứng tự xây dựng, là lựa chọn lý tưởng cho kiến trúc tách biệt lưu trữ và tính toán.
• Tên thành phần:​​ ​Elastic Container Instance (ECI)​
  • ​Đóng vai trò:​​ ​Lõi tính toán đàn hồi chạy theo nhu cầu.Dùng để chạy các tác vụ tính toán container hóa tùy chỉnh (như script Python, chương trình xử lý dữ liệu tùy chỉnh).
  • Các đề xuất cấu hình/lựa chọn quan trọng:​
    • Đối vớiNgắn hạn, đột xuấtcác tác vụ tính toán (chẳng hạn như ETL chạy 1-2 giờ mỗi ngày), ưu tiên sử dụng ECI.
    • Cấu hình dựa trên thông số kỹ thuật vCPU và bộ nhớ mà tác vụ yêu cầu, hỗ trợ các phiên bản nhỏ với 0.25 nhân, tránh lãng phí tài nguyên.
    • Thông quaTrình kích hoạt sự kiện(Ví dụ như sự kiện tải lên tệp OSS) tự động đánh thức tài nguyên tính toán, thực hiện quy trình tự động hóa hoàn toàn.
  • ​Tại sao chọn nó:​Thực sự đạt được "tính phí theo giây, co giãn theo nhu cầu" cho tài nguyên tính toán, không cần dự trữ tài nguyên, nâng cao đáng kể hiệu suất sử dụng tài nguyên.

​Tổng kết ưu điểm của giải pháp​

• ? Chi phí tổng hợp giảm trực tiếp 50% trở lên:Lưu trữ sử dụng OSS chi phí thấp, tính toán thanh toán theo nhu cầu, không cần trả tiền cho tài nguyên nhàn rỗi, so với việc tự xây dựng cụm cố định, tổng chi phí sở hữu (TCO) giảm mạnh.
• ️⚡ Đàn hồi tối đa, mở rộng trong tích tắc:​​ Đối mặt với đỉnh điểm dữ liệu hoặc nhu cầu phân tích đột xuất, tài nguyên tính toán có thể mở rộng ngay lập tức, không cần mua sắm và triển khai trước, tính linh hoạt của nghiệp vụ được nâng cao đáng kể.
• ️?️ Tính khả dụng cao và không cần vận hành:​​ Dịch vụ cơ sở của Alibaba Cloud cung cấp SLA với tính khả dụng cao, không cần quan tâm đến sự cố và bảo trì của cơ sở hạ tầng cơ bản, nhóm có thể tập trung vào phát triển dữ liệu.
• ​? Mở rộng và tương thích:​​ Hoàn toàn tương thích với hệ sinh thái mã nguồn mở, các chương trình xử lý dữ liệu hiện có có thể di chuyển mượt mà, bảo vệ đầu tư công nghệ hiện có.

​Kịch bản ứng dụng và khách hàng phù hợp​

• ​Các tình huống ứng dụng điển hình:​​
  • Nhiệm vụ ETL định kỳ:​​ Các công việc làm sạch, chuyển đổi và tải dữ liệu được thực hiện hàng ngày/hàng tuần.
  • ​Truy vấn tức thời tương tác:​ Nhiệm vụ truy vấn không định kỳ do nhà phân tích dữ liệu khởi xướng, tài nguyên tính toán được tạo khi truy vấn bắt đầu và giải phóng khi truy vấn kết thúc.
  • Xử lý theo sự kiện:​​ Ví dụ: ngay khi có tệp nhật ký mới được tải lên OSS, lập tức kích hoạt nhiệm vụ phát hiện bất thường hoặc tạo báo cáo.
• Đặc điểm khách hàng phù hợp:​​
  • Tất cảNhạy cảm về chi phídoanh nghiệp và nhóm.
  • Tình huống có nhu cầu tính toánĐỉnh và đáy rõ ràng(ví dụ: nhiều nhiệm vụ ban ngày, ít nhiệm vụ ban đêm) trong kịch bản.
  • Mong muốnXây dựng nền tảng dữ liệu lớn từ đầuvà các công ty không muốn xây dựng đội ngũ vận hành quy mô lớn.
  • đang tiến hànhChuyển đổi sốcác doanh nghiệp truyền thống muốn giới thiệu khả năng dữ liệu lớn với chi phí thử nghiệm tối thiểu.

​Các liên kết có liên quan​

• ​Trang web chính thức của sản phẩm Alibaba Cloud Object Storage (OSS):​​ Tìm hiểu ngay
• Trang web chính thức của sản phẩm Elastic Container Instance (ECI):​​ Tìm hiểu ngay
• ​Hạn mức dùng thử miễn phí:​​ Dùng thử miễn phí sản phẩm Alibaba Cloud
• Hướng dẫn thực hành kỹ thuật:​ Truy cập dữ liệu OSS trong ECI
• Thêm giải pháp tối ưu hóa chi phí:​​ Tìm hiểu thêm