شكل البداية/الوصفة الطبية/البيانات الكبيرة & ذ.ا/تفاصيل المحتوى

مقدمة (تحليل نقاط الألم)​

بصفتك مهندس أو مهندس بيانات، هل تعاني من الأسئلة التالية؟

  • صوامع البيانات وصعوبات الحوكمة.تتناثر بيانات الأعمال في عشرات من مصادر البيانات مثل MySQL وKafka وملفات السجلات، وملفات CSV، وما إلى ذلك، بتنسيقات مختلفة، مما يجعل من الصعب توحيد الإدارة وضمان جودة البيانات.
  • ​التكاليف خارج نطاق السيطرةللتعامل مع ذروة الأعمال الدورية (مثل العروض الترويجية الكبيرة والأحداث)، تحتاج منصات البيانات الضخمة التقليدية (مثل Hadoop المبنية ذاتيًا) إلى تهيئة موارد الأجهزة وفقًا لذروة الطلب، مما يؤدي إلى موارد خاملة معظم الوقت وتكاليف عالية.
  • ​اختناقات الأداء.إن عملية ETL التقليدية معقدة وطويلة، وغالبًا ما تستغرق T+1 يومًا من إدخال البيانات إلى إخراج التقارير، وهو ما لا يمكن أن يدعم حاجة الأعمال الملحة إلى رؤى البيانات في الوقت الفعلي، ودائمًا ما تكون عملية اتخاذ القرار أبطأ بخطوة واحدة.
  • ​بنية معقدة وتشغيل وصيانة ثقيلة.يتطلب الحفاظ على التشغيل المستقر لمجموعة كاملة من مجموعات البيانات الضخمة (HDFS وHive وSpark وPresto) استثمارًا كبيرًا في القوى العاملة المحترفة في التشغيل والصيانة، وعتبة تقنية عالية، وصعوبات في استكشاف الأخطاء وإصلاحها.

​إذا كنت تعاني من المشاكل المذكورة أعلاه، فإن هذه المقالة ستوفر لك حلاً كاملاً يعتمد على مستودع بحيرة البيانات السحابية الأصلية من Tencent لتحقيق تحليل فعال وفعال من حيث التكلفة وموحد في الوقت الفعلي للبيتابايت من البيانات.​

​ مخطط بنية الحل ونظرة عامة​

​مخطط الهندسة المعمارية

حل التحليل في الوقت الحقيقي للبيانات على نطاق PB: ممارسة الهندسة المعمارية القائمة على مستودع بحيرة البيانات الأصلي في Tencent Cloud - LikaCloud

نظرة عامة.​

جوهر هذا البرنامج هو“فصل الحسابات”الاستجابة في الغناء“الإدارة الموحدة للبيانات الوصفية”. يتم إيداع جميع البيانات الخام بشكل موحد في نظام موثوق به للغاية ومنخفض التكلفةتخزين الكائنات السحابية من Tencent (COS)التي تشكل حجر الزاوية لبحيرة البيانات.حوسبة بحيرة البيانات (DLC)وباعتباره العقل المدبر، فهو مسؤول عن إدارة البيانات الوصفية الموحدة، والتحكم في الأذونات، وحوكمة البيانات، مما يلغي الحاجة إلى إنشاء Hive Metastore الخاص بك.الخرائط المرنة (EMR)كمحرك حوسبة قوي، يتم سحب المجموعات عند الطلب لتحليل البيانات مباشرةً في COS من خلال Spark وPresto القياسي وأطر عمل الحوسبة الأخرى، مع تحرير الموارد عند اكتمال المهمة. في النهاية، يمكن استهلاك نتائج التحليل مباشرةً بواسطة أدوات ذكاء الأعمال أو تطبيقات البيانات أو منصات الذكاء الاصطناعي.

​القيمة المقترحة.يحل هذا الحل بشكل مثالي نقاط الألم في المقدمة، ويقلل من تكاليف التخزين والحوسبة من خلال الفصل بين التخزين والحوسبة، ويكسر صوامع البيانات من خلال البيانات الوصفية الموحدة، ويحقق تحليلاً سريعًا من خلال محرك الحوسبة المرن بدون خادم ويقلل من تعقيدات التشغيل والصيانة إلى الحد الأدنى.

​المنتجات والمكونات الأساسية​

  • اسم المكون.​ ​تخزين الكائنات السحابية من Tencent (COS)​
    • ​لعب الدورالهندسة المعمارية المتكاملةطبقة التخزين الدائميخزن النظام جميع البيانات الخام والبيانات المعالجة ونتائج الحسابات.
    • توصيات التكوين/الاختيار الرئيسية.يتم تحليل البيانات الحرارية التي تتطلب تحليلات متكررة باستخدامالتخزين القياسياستخدام البيانات الباردة للأرشفةالتخزين الأرشيفيتم تصميم استراتيجية دورة حياة الشركة لتعظيم الوفورات في التكاليف من خلال التحول التلقائي من استراتيجية دورة حياة إلى أخرى.
    • لماذا تختاره.يوفّر سعة غير محدودة وموثوقية بيانات 99.9999999999999999999%، مما يجعله القاعدة المثالية لبناء بحيرات البيانات. يتكامل بسلاسة مع السجلات الطبية الإلكترونية وDLC لتحسين الأداء بشكل ممتاز.
  • ​اسم المكون.​ ​حوسبة بحيرة البيانات (DLC)​
    • ​لعب الدورمنظم“الدماغ الذكي”وهو يوفر إدارة موحدة للبيانات الوصفية وحقوق البيانات والتحكم في الوصول، وكتالوج بيانات SQL وخدمات الاستعلام التفاعلي بدون خادم.
    • توصيات التكوين/الاختيار الرئيسية.استخدم الوضع بدون خادم مباشرةً بدون موارد مبنية مسبقًا. تفاعل بسهولة مع البيانات على COS وحدد هياكل الجداول من خلال ميزة كتالوج البيانات.
    • لماذا تختاره.إنه يحل مشكلة صوامع البيانات الوصفية تمامًا، حيث يمكن لأدوات السجلات الإلكترونية الإلكترونية وأدوات ذكاء الأعمال وغيرها الوصول إلى عرض البيانات الوصفية الموحّد من خلال DLC لتحقيق إدارة متسقة للأذونات وهياكل الجداول. تتيح إمكانية سبارك بدون خادم إمكانية إرسال مهام سبارك بدون خادم، مما يبسّط التشغيل والصيانة بشكل كبير.
  • ​اسم المكون.​ ​الخرائط المرنة (EMR)​
    • لعب الدورالنواةمحرك الحوسبة المرنمسؤولة عن تشغيل مهام معالجة البيانات على نطاق واسع (مثل ETL، والاستعلامات التفاعلية، والتعلم الآلي).
    • ​توصيات التكوين/الاختيار الرئيسية.الخيارالفوترة الحجميةوتصغير مرن (أي مرن)وضع رفع مستوى عقد المهام وخفضها تلقائيًا بناءً على حمل وحدة المعالجة المركزية/الذاكرة. خيارات للنشر في موقع مشترك مع COS، DLC لتحقيق الأداء الأمثل.
    • ​لماذا تختاره.وهو يوفر إمكانات كاملة لمنظومة البيانات الضخمة مفتوحة المصدر (Hadoop وSpark وPresto وHbase وغيرها) ويتكامل بعمق مع Tencent Cloud خارج الصندوق. تضمن قدرتها على المرونة الاستخدام الفعّال للموارد، حيث تدفع فقط مقابل مقدار الحوسبة المستخدمة بالفعل.

​ملخص فوائد البرنامج​

  • ? تحسين التكلفة القصوى.الفصل بين التخزين والحوسبة، وتوسيع نطاق موارد الحوسبة حسب الطلب، مقارنةً بالمجموعات التقليدية الثابتة المبنية ذاتيًا.يمكن خفض التكلفة الشاملة بأكثر من 50%。
  • ​⚡ التحليلات الفعالة والعمليات الرشيقة.لا حاجة لترحيل البيانات، يمكن للسجل الكهرومغناطيسي الإلكتروني تحليل بيانات نظام إدارة البيانات مباشرةً بسرعة عالية؛ إدارة البيانات الوصفية الموحدة DLC التيبناء منصات البيانات الضخمة دقيقة بدقيقةانخفض عبء عمل التشغيل والصيانة بمقدار 90%.
  • ? كسر صوامع البيانات.يتم تخزين نسخة من البيانات في نظام إدارة المحتوى ومشاركتها وتحليلها بواسطة محركات حسابية متعددة (السجلات الإلكترونية الإلكترونية والوظائف السحابية وغيرها) من خلال عرض موحد لمركز البيانات الرئيسي، مما يتيح حقًاإدراج البيانات。
  • ? ️ الحوكمة الأمنية على مستوى المؤسسة.يوفر DLC التحكم في حقوق البيانات على مستوى العمود والتكامل السلس مع CAM.سجل التدقيقاستكمل لتلبية متطلبات أمن بيانات المؤسسة ومتطلبات الامتثال.

​سيناريوهات التطبيق والعملاء القابلين للتطبيق​

  • سيناريوهات التطبيق النموذجية.​
    • استعلام فوري تفاعلي.يستخدم محللو البيانات Presto/Spark SQL لإجراء استعلامات سريعة على بيانات تاريخية ضخمة مباشرةً من خلال DLC والحصول على نتائج فورية.
    • تحليل السجل في الوقت الحقيقي.تتم كتابة سجلات الأعمال إلى COS/كافكا في الوقت الفعلي وتحليلها بواسطة تدفق EMR أو Spark Streaming للمعالجة في الوقت الفعلي تقريباً لمراقبة حالة الأعمال.
    • التعلّم الآلي واستخراج البيانات.استخدم سبارك من EMR على مجموعة k8s العنقودية لقراءة بيانات التدريب مباشرةً من COS لتدريب النماذج على نطاق واسع.
  • خصائص العميل القابلة للتطبيق.​
    • وصل حجم البيانات إلىمن السل إلى مستوى PBوالنمو المستدام للشركات التقليدية وشركات الإنترنت.
    • تتلقى بقدر لا يستهان بهاختناقات التوسع والأداء الباهظة في مستودعات البيانات التقليديةالفريق المضطرب
    • تمنىتكامل مصادر البيانات المتعددةالعملاء الذين يقومون ببناء رؤية موحدة لبيانات مؤسستهم.
    • فريق الأملالتركيز على تطوير بيانات الأعمال بدلاً من عمليات البنية التحتية الأساسية وصيانتها。

​روابط ذات صلة​

الوسوم