عناكب الويب: مستكشفو عالم المعلومات.
الخطوة الأولى في عمل محركات البحث هي اكتشاف الكم الهائل من المعلومات الموجودة على الإنترنت، وهي مهمة تقوم بها برامج تلقائية تُعرف باسم “برامج الزحف” أو “العناكب”. إنهم مثل المستكشفين غير المرهقين الذين يتجولون باستمرار في شبكة الروابط المعقدة للويب.
عادةً ما تكون نقطة البداية لـ“الزواحف الإلكترونية” قائمة من العناوين المعروفة، مثل مواقع البوابات الرئيسية أو المواقع عالية الجودة التي تم تضمينها بالفعل. تقوم بزيارة هذه الصفحات، وقراءة شفرة HTML الخاصة بها، واستخراج جميع الروابط الموجودة على الصفحة. بعد ذلك، تضيف هذه الروابط الجديدة المكتشفة إلى “قائمة الانتظار” لديها، وتزورها حسب استراتيجية محددة (مثل الأولوية على النطاق أو الأولوية على العمق)، وتكرر هذه العملية مرارًا وتكرارًا، مما يساعد على توسيع نطاق استكشافها. تُعرف هذه العملية باسم "الزحف".
من أجل أن تكون فعالة دون تعطيل عمل الموقع بشكل طبيعي، تتبع برامج الزحف القانونية المسارات الموجودة تحت الدليل الجذري للموقع. robots.txt ملف الاتفاقية. يشير هذا الملف إلى الدليل أو الصفحات المسموح باستردادها على الموقع الإلكتروني، والتي لا يُسمح بالوصول إليها. في الوقت نفسه، تتحكم برامج الزحف في وتيرة الطلبات عند الوصول إلى موقع إلكتروني واحد، لتجنب إثقال كاهل الخادم. بعد استرداد صفحة ما بنجاح، يتم إرسال بياناتها الأصلية (بما في ذلك النصوص والروابط والبيانات الوصفية للصور وما إلى ذلك) إلى مركز بيانات محرك البحث، حيث تدخل مرحلة المعالجة التالية.
القراءة الموصى بها دليل شامل لاختيار وتسجيل اسم النطاق: دليل أساسي من المبتدئين إلى الخبراء.。
بناء الفهرسة: تنظيم المعلومات والمكتبات.
إذا قارنا عملية الاستخراج بجمع الكتب من جميع أنحاء العالم، فإن الفهرسة هي مثل تصنيف هذه الكتب وفهرستها ووضعها في مكتبة رقمية ضخمة، حتى يمكن العثور عليها بسرعة. بالنسبة لمحركات البحث، فإن الصفحات غير المفهرسة مثل كتاب موجود في زاوية من المستودع وغير مسجل في النظام، ولذلك يصعب على المستخدمين العثور عليها.
يقوم عمل الفهرسة أولاً بتحليل بيانات HTML الأصلية المستخرجة، واستخلاص المحتوى النصي ذي الأهمية للبحث، مع تصفية المعلومات النموذجية مثل رموز الإعلانات وقوائم التنقل. بعد ذلك، تقوم محركات البحث بإجراء سلسلة من التحليلات النصية المعقدة، بما في ذلك التقسيم (وهو أمر مهم بشكل خاص للغات مثل الصينية) والتعرف على الكيانات (مثل الأسماء والأماكن) وإزالة الكلمات الغير مفيدة (مثل “的” و“了”)، وأخيرًا تحويل المحتوى المعالج إلى هيكل بيانات مُحسّن للغاية يسهل البحث فيه بسرعة.
في هيكل “فهرسة الترتيب العكسي” هذا، لا تسجل محركات البحث “الكلمات التي تحتوي عليها الصفحة A”، بل “الكلمة المفتاحية X التي تظهر في الصفحات A وB وD”. كما تسجل أيضًا موقع الكلمة المفتاحية في كل صفحة، وتكرارها، وما إذا كانت تظهر في العنوان أو لا. وعندما يبدأ المستخدم البحث، لا تحتاج محركات البحث إلى مسح الإنترنت بأكمله، بل يمكنها إجراء استعلام في قاعدة البيانات المنظمة والمُعدّة مسبقًا، والعثور على جميع الصفحات التي تحتوي على الكلمات المفتاحية ذات الصلة على الفور، والاستعداد للترتيب اللاحق.
خوارزمية التصنيف: حكم يحدد مدى الصلة والمصداقية.
عندما تُرجع قاعدة البيانات مجموعة من الصفحات ذات الصلة بكلمة البحث، يواجه محرك البحث التحدي الأساسي المتمثل في كيفية ترتيب هذه الصفحات حسب مدى فائدتها للمستخدم. وهذا هو دور خوارزمية الترتيب، التي تعمل كنظام تحكيم معقد يقوم بتقييم كل صفحة ذات صلة واعطائها درجة استنادًا إلى مئات من عوامل الترتيب أو أكثر.
تركز عوامل الترتيب التقليدية بشكل أساسي على “الصلة”. على سبيل المثال، ما إذا كانت الكلمات المفتاحية تظهر في العنوان أو في الفقرة الأولى من النص أو في عنوان URL؛ وتكرار الكلمات المفتاحية وانتشارها في الصفحة؛ وما إذا كان محتوى الصفحة شاملاً ومبتكراً، ومدى توافقه مع غرض البحث. ومع ذلك، فإن الصلة وحدها ليست كافية، فقد تكون الصفحة محتوى غير مفيد تم تجميعه خصيصًا للبحث عن الكلمات المفتاحية.
القراءة الموصى بها دليل عملي لتحسين محرك البحث في Google: من أساسيات إلى استراتيجيات متقدمة شاملة.。
وبناءً على ذلك، ظهرت آليات تقييم “السلطة” أو “الأهمية”، مثل “صفحة رانك” (PageRank). وتستند الفكرة الأساسية لهذه الآليات إلى نظام الاستشهاد الأكاديمي: فكلما تم ربط صفحة ويب بصفحات أخرى عالية الجودة، كان ذلك عادةً مؤشراً على أنها ذات قيمة عالية وموثوقة. وتقوم محركات البحث بتحليل هيكل الروابط في الشبكة بأكملها لحساب قيمة الوزن لكل صفحة. وتكون قيمة “التصويت” للروابط القادمة من مواقع ذات وزن عالي أعلى أيضًا. وتصبح خوارزميات التصنيف الحديثة أكثر تعقيدًا على أساس ذلك، حيث تدمج مجموعة كبيرة من الإشارات، مثل سلوك المستخدم (معدل النقرات، وطول مدة البقاء، ومعدل الخروج) والأداء التقني للموقع (مثل ملاءمته للأجهزة المحمولة، وسرعة تحميل الصفحة) والجودة والأمان للمحتوى.
في النهاية، تقوم محركات البحث بدمج جميع الإشارات ذات الصلة، وتحسب “درجة” نهائية لكل صفحة مرشحة، وتولد صفحة النتائج التي نراها حسب هذه الدرجات. يتم تحديث هذه الخوارزميات بشكل مستمر لمكافحة المعلومات غير المرغوب فيها، ولتلبية احتياجات البحث المتغيرة بشكل أفضل للمستخدمين.
عرض نتائج البحث وتخصيصها.
عندما تنتهي خوارزمية الترتيب من تصنيف صفحات الويب، تكون الخطوة الأخيرة لمحرك البحث هي تقديم النتائج للمستخدم بطريقة واضحة ومفيدة. لم تعد صفحات نتائج البحث الحديثة مجرد قائمة من “عشرة روابط زرقاء”، بل هي لوحة إجابات شاملة تضم العديد من أشكال المعلومات.
يشمل ذلك “الملخصات المختارة”، التي تستخرج مقطعًا موجزًا أو قائمةً من المواقع عالية الجودة وتعرضها في أعلى النتائج، بهدف الإجابة على الأسئلة مباشرةً؛ و“خريطة المعرفة”، التي تعرض فيالشريط الجانبي معلومات منظمة مستمدة من قواعد بيانات موثوقة، مثل سير الشخصيات، والبيانات الأساسية للمواقع؛ وبالنسبة للبحث عن أنواع محددة من المحتوى، مثل الأخبار والصور ومقاطع الفيديو والشركات المحلية، تُعرض نتائق البحث في أقسام مخصصة أو علامات تبويب عمودية.
بالإضافة إلى ذلك، أصبحت تجربة البحث أكثر “شخصية”. تقوم محركات البحث بضبط وعرض النتائج بناءً على موقع المستخدم (لتقديم نتائج محلية) وتاريخ البحث السابق وسلوكه في الجلسة الحالية. على سبيل المثال، عندما يبحث المستخدم عن “أبل” ثم يبحث عن فورم “إطلاق المنتج” على الفور، من المرجح أن تُرجع محركات البحث معلومات حول إطلاق منتجات شركة أبل بدلاً من أخبار إطلاق المنتجات المتعلقة بالفواكه. تهدف هذه الشخصية إلى توفير صلات ذات صلة بالسياق تلبي احتياجات المستخدم الفورية ، لكنها أثارت أيضًا مناقشات حول “غرفة الفقاعة المعلوماتية” والخصوصية.
الملخصات
يعمل محرك البحث كنظام معقد مترابط وعالي الأتمتة. بدءًا من استكشاف العناكب للشبكة وجمع البيانات بلا توقف، مرورًا بإنشاء قاعدة بيانات فهرسة تشبه المكتبة الضخمة، وصولاً إلى استخدام خوارزميات دقيقة لتقييم مدى صلة صفحة الويب ومصداقيتها لترتيبها، وأخيرًا تقديم النتائج بشكل مخصص للمستخدمين، تتطلب كل خطوة منها كمًا هائلاً من موارد الحوسبة والتقنيات المتقدمة للذكاء الاصطناعي. فهم هذه العملية أساسي، ليس فقط لاستخدام محرك البحث بشكل أكثر كفاءة للحصول على المعلومات، بل يوفر أيضًا توجيهات أساسية لمشرفي المواقع لتحسين محرك البحث: فإنشاء صفحات ويب صديقة للمستخدمين والعناكب، وذات محتوى عالي الجودة، وموثوق بها من قبل مواقع الويب الأخرى، هو الأساس للحصول على ترتيب جيد على المدى الطويل.
القراءة الموصى بها دليل شامل لتحسين ووردبريس: عشر استراتيجيات أساسية لتحسين سرعة الموقع والأمان وتصنيف محرك البحث (SEO)。
الأسئلة الشائعة الأسئلة المتداولة
هل يمكن لمحركات البحث التقاط وتفهرس جميع محتويات المواقع الإلكترونية؟
ليس الأمر كذلك. قد لا تتمكن برامج زحف محركات البحث من الوصول إلى بعض المحتويات، مثل الصفحات التي تتطلب تسجيل الدخول للوصول إليها، والصفحات التي تحتوي على تفاعلات JavaScript معقدة ولم يتم تقديمها بشكل مسبق، والصفحات التي يتم حظرها بواسطة ملفات robots.txt. robots.txt يمكن أن تتسبب الصفحات المحظورة بشكل واضح في الملف، أو هيكل الموقع غير المنظم الذي يؤدي إلى عدم إمكانية اكتشاف الروابط. بالإضافة إلى ذلك، إذا كان تحميل الموقع بطيئًا للغاية أو كانت الخوادم تواجه أخطاء بشكل متكرر، فقد تتخلى العناكب أيضًا عن عملية الزحف.
بعد أن يتم تضمين صفحة ويب، هل ستبقى ترتيبها ثابتًا؟
مطلقًا. يتم تحديث فهرس محرك البحث باستمرار. وعندما تعيد العناكب زيارة الصفحة، إذا اكتشفت أن المحتوى قد تم تحديثه، فسيتم تحديث السجلات في قاعدة الفهرس وفقًا لذلك. والأهم من ذلك، يتم حساب التصنيف بشكل ديناميكي، ويتأثر بعوامل متعددة مثل التغيرات في جودة الصفحة نفسها، والتغيرات في صفحات المنافسين، والصفحات ذات الصلة الجديدة، وتحديثات خوارزميات محرك البحث. ولذلك، يظل التصنيف في حالة تقلب مستمر.
كيف تميز محركات البحث بين المحتوى عالي الجودة والمحتوى منخفض الجودة؟
تقوم محركات البحث بتقييم الجودة من خلال مجموعة من مؤشرات التقييم، والتي يُشار إليها عادةً باسم “E-A-T” (الخبرة والسلطة والمصداقية). عادةً ما يتم تمييز المحتوى عالي الجودة بأنه مُنشأ من قبل خبراء أو مؤسسات موثوقة في هذا المجال، ويحتوي على معلومات دقيقة ومصادر موثوقة، ويقدم محتوى شاملًا ومتعمقًا يحل المشكلات حقًا، كما يتمتع الموقع بسمعة جيدة بشكل عام، وتجربة مستخدم جيدة (مثل التصفح السلس، وعدم وجود إعلانات مزعجة). أما المحتوى منخفض الجودة فقد يحتوي على الكثير من الإعلانات، ومعلومات خاطئة، ونسخ محتوى من الآخرين، أو مجرد تراكم للكلمات المفتاحية.
بالنسبة لمالكي المواقع، كيف يمكنهم معرفة ما إذا كانت محركات البحث قد قامت بالفعل بالزحف إلى صفحاتي وفهرستها؟
أكثر الأدوات فعالية هي استخدام المنصات المجانية التي تقدمها الشركات المعنية، مثل Google Search Console. بعد التحقق من ملكية الموقع على هذه المنصة، يمكنك إرسال خريطة الموقع، ومعرفة الصفحات التي تم الزحف إليها وفهرستها، واكتشاف أخطاء الزحف، والاطلاع على بيانات أداء الموقع في البحث. يوفر ذلك دعمًا بياناتيًا حيويًا لتحسين محرك البحث للموقع.
ما التالي، ما التالي؟
القراءة الموسعة والمعرفة العملية
فيما يلي بعض الموضوعات ذات الصلة بموضوع هذه المقالة وهي مناسبة لمزيد من القراءة المتعمقة. وغالباً ما يكون من الأفضل إعطاء الأولوية للبدء بالمقال الأقرب إلى مشكلتك الحالية ثم التوسع تدريجياً إلى المواضيع المحيطة.
- تحليل شامل لتحسين محركات البحث (SEO): الاستراتيجيات والخطوات الأساسية من الصفر إلى التطبيق العملي
- دليل شامل لعملية بناء المواقع الإلكترونية: عشر خطوات أساسية لإنشاء موقع إلكتروني مهني من الصفر
- دليل عملي لتحسين محركات البحث (SEO): تحليل الاستراتيجيات والتقنيات من المستوى الأساسي إلى المتقدم
- دليل عملي لتحسين محركات البحث (SEO): الاستراتيجيات والطرق من الأساسيات إلى المستوى المتقدم
- دليل استراتيجيات وممارسات تحسين تصنيف المواقع الإلكترونية وزيادة تدفق الزوار (SEO) الفعالة
العربية