مقدمة (تحليل نقاط الألم)
هل تواجه أيًا من التحديات التالية بصفتك مالكًا لمنصة البيانات الضخمة؟
- ارتفعت تكاليف التخزين بشكل كبير.ينمو حجم البيانات بمعدل 501 تيرابايت 3 تيرابايت سنويًا، وتتطلب حلول التخزين التقليدية لنظام HDFS توسيعًا مستمرًا للخوادم، مما يجعل شراء الأجهزة وتكاليف تشغيل غرفة الخادم وصيانتها عبئًا ثقيلًا.
- إهدار موارد الحوسبة.من أجل التعامل مع ذروة الحوسبة العرضية (مثل إنشاء تقارير نهاية الشهر، والتدقيق السنوي)، يجب الحفاظ على مجموعة ضخمة من Hadoop/Spark لفترة طويلة من الزمن، مما يؤدي إلى متوسط استخدام لوحدة المعالجة المركزية أقل من 20% وإهدار خطير للموارد.
- اختناقات قابلية التوسع.التخزين والحوسبة مقترنان بإحكام، فعند توسيع التخزين، يجب توسيع عقدة الحوسبة في الوقت نفسه، وتكون العملية معقدة، ولا يمكن تحقيق مرونة مستقلة وقابلية للتوسع في الموارد.
- تعقيد العمليات الفنية والصيانة التقنية.تتطلب المجموعات المبنية ذاتيًا فريقًا محترفًا لإجراء ترقيات مستمرة للإصدار واستكشاف الأخطاء وإصلاحها وضبط الأداء، وهو أمر له عتبة تقنية عالية ويشتت الطاقة التي يجب أن تُنفق على ابتكار أعمال البيانات.
ملخص جملة واحدةإذا كنت تعاني من ارتفاع تكاليف البنية التحتية للبيانات الضخمة وأعمال التشغيل والصيانة الثقيلة، فإن هذه المقالة ستوفر لك حلاً كاملاً يعتمد على بنية فصل التخزين عن الحوسبة السحابية من AliCloud لتقليل التكاليف وزيادة الكفاءة.
مخطط بنية الحل ونظرة عامة
مخطط الهندسة المعمارية
نظرة عامة.
جوهر هذا البرنامج هو"فصل الحسابات"مع"بدون خادم". يتم إيداع جميع البيانات مباشرة فيعلي كلاود تخزين الكائنات (OSS)والاستفادة من سعتها غير المحدودة وقدرات التخزين المتدرجة منخفضة التكلفة (القياسية ومنخفضة التردد والأرشفة) كقاعدة تخزين ثابتة لبحيرات البيانات. يتم التعامل مع مهام الحوسبة بواسطةمثيل الحاوية المرنة (ECI)الاستجابة في الغناءE-MapReduce بدون خادم E-MapReduceوما إلى ذلك يتم استضافتها بواسطة محركات بدون خوادم، والتي يتم سحبها في ثوانٍ فقط أثناء تشغيل المهمة، ويتم الدفع مقابل كمية موارد الحوسبة المستخدمة فعليًا (وحدة المعالجة المركزية/الذاكرة/مدة وقت التشغيل)، ويتم تحريرها بمجرد اكتمال المهمة. العملية برمتها تعتمد على الأحداث (مثل الملفات الجديدة التي يتم تحميلها إلى OSS) ولا حاجة لإدارة أي خوادم.
القيمة المقترحة.يصل هذا الحل إلى نقطة الألم، من خلال تحويل التكلفة العالية للمجموعة الثابتة إلى تكلفة تخزين منخفضة للغاية + تكلفة الحوسبة عند الطلب، يمكن تخفيض التكلفة الشاملة بأكثر من 501 تيرابايت 3 تيرابايت والتحرر تمامًا من ضغط التشغيل والصيانة.
المنتجات والمكونات الأساسية
- اسم المكون. علي كلاود تخزين الكائنات (OSS)
- لعب الدورالهندسة المعمارية المتكاملةحجر الزاوية الأساسي للتخزين الأساسيالبيانات غير متوفرة في قاعدة البيانات، ولكنها متوفرة بعدد من اللغات.
- توصيات التكوين/الاختيار الرئيسية.
- البيانات الساخنة التي يتم الوصول إليها بشكل متكرر.التبنيالتخزين القياسيالنوع.
- بيانات درجة الحرارة للزيارات العرضية.التبنيوصول منخفض الترددنوع التخزين (تكلفة وصول منخفضة وتكلفة تخزين أقل).
- بيانات باردة للأرشفة/النسخ الاحتياطي.التبنيضعه في الملفأوالأرشفة الباردةنوع التخزين (أقل تكلفة).
- من خلال تكوينقواعد دورة الحياةيقوم النظام تلقائيًا بتحويل البيانات تلقائيًا من البيانات القياسية -> منخفضة التردد -> الأرشيف لتحقيق أقصى قدر من التوفير في التكاليف.
- لماذا تختاره.يوفر 12 9 ثوانٍ من ثبات البيانات بثلث أو أقل من تكلفة تخزين محرك الأقراص الصلبة ذاتيًا، وهو مثالي لبنية الفصل بين المخزن والكمبيوتر.
- اسم المكون. مثيل الحاوية المرنة (ECI)
- لعب الدور نواة الحوسبة المرنة عند الطلب. تُستخدم لتشغيل مهام الحوسبة المخصصة في الحاويات (مثل البرامج النصية Python، ومعالجات البيانات المخصصة).
- توصيات التكوين/الاختيار الرئيسية.
- فيما يتعلق بقصير الأجل، مفاجئمن المهام الحسابية (على سبيل المثال، تشغيل ETL لمدة ساعة إلى ساعتين أو ساعتين في اليوم)، يُفضل ECI.
- تم تكوينه وفقًا لمواصفات وحدة المعالجة المركزية الافتراضية ومواصفات الذاكرة المطلوبة للمهمة، وهو يدعم مثيلات ذات مواصفات صغيرة من 0.25 نواة لتجنب إهدار الموارد.
- من خلالمشغل الحدث(على سبيل المثال، أحداث تحميل ملفات OSS) تلقائيًا لتنشيط موارد الحوسبة لخط أنابيب مؤتمت بالكامل.
- لماذا تختاره.فهو يحقق بالفعل "الفوترة بالثانية والتوسع عند الطلب" لموارد الحوسبة دون الحاجة إلى حجز الموارد، مما يحسن استخدام الموارد بشكل كبير.
ملخص فوائد البرنامج
- ? التكلفة المجمعة هي 50%+ مباشرة.مع انخفاض تكلفة برمجيات المصدر المفتوح للتخزين والدفع أولاً بأول للحوسبة، لا توجد حاجة للدفع مقابل الموارد الخاملة، وتنخفض التكلفة الإجمالية للملكية (TCO) بشكل كبير مقارنةً بالمجموعات الثابتة المبنية ذاتيًا.
- ⚡ مرونة فائقة مع التحجيم ثانية بثانية.في مواجهة فيضان البيانات أو الطلب المفاجئ على التحليل، يمكن توسيع موارد الحوسبة على الفور دون الحاجة إلى الشراء والنشر مسبقًا، مما يحسن بشكل كبير من سرعة الأعمال.
- ? ️ متاحة للغاية ولا تحتاج إلى صيانة.توفر خدمات البنية التحتية لـ AliCloud Infrastructure Services اتفاقيات مستوى توافر عالية، مما يلغي الحاجة إلى الاهتمام بفشل البنية التحتية الأساسية وصيانتها، ويسمح للفريق بالتركيز على تطوير البيانات نفسها.
- ? الانفتاح والتوافق.متوافق تمامًا مع النظام البيئي مفتوح المصدر، ويمكن ترحيل إجراءات معالجة البيانات الحالية بسلاسة لحماية الاستثمار التكنولوجي الحالي.
سيناريوهات التطبيق والعملاء القابلين للتطبيق
- سيناريوهات التطبيق النموذجية.
- مهام ETL الدورية.تتم عمليات تنقية البيانات وتحويلها وتحميلها على أساس يومي/أسبوعي.
- استعلام فوري تفاعلي.يبدأ محللو البيانات مهام استعلام عرضية حيث يتم إنشاء الموارد الحاسوبية مع بداية الاستعلام وتحريرها مع نهاية الاستعلام.
- معالجة تعتمد على الأحداث.على سبيل المثال، بمجرد أن يتم تحميل ملف سجل جديد إلى نظام دعم العمليات التشغيلية، يتم تشغيل مهمة الكشف عن الحالات الشاذة أو إنشاء التقارير على الفور.
- خصائص العميل القابلة للتطبيق.
- الملكيةحساس للتكلفةالعمل والفريق
- الطلب المحسوب موجودقمم وقيعان واضحة(على سبيل المثال، السيناريوهات ذات المهام النهارية الكثيرة والمهام الليلية القليلة).
- تمنىبناء منصة البيانات الضخمة من الصفروالشركات التي لا ترغب في إنشاء فريق كبير للتشغيل والصيانة.
- قيد التنفيذالتحوّل الرقمي، الشركات التقليدية التي تتطلع إلى تقديم قدرات البيانات الضخمة بأقل قدر من تكاليف التجربة والخطأ.
روابط ذات صلة
- الموقع الإلكتروني لمنتج AliCloud Object Storage (OSS). اكتشف الآن
- الموقع الرسمي لمنتج مثيل الحاوية المرنة (ECI). اكتشف الآن
- أرصدة تجريبية مجانية. تجربة مجانية لمنتجات AliCloud
- دروس تعليمية تقنية عملية. الوصول إلى بيانات OSS في ECI
- المزيد من الحلول المحسّنة من حيث التكلفة اعرف المزيد
العربية