يعثر الزاحف على صفحة باتباع رابط يشير إليها أو بقراءتها في خريطة الموقع، ولا طريقة ثالثة. امتلك متجر مسار لقطع السيارات في دبي 5,200 صفحة منتج في 2026، ولم يفهم لماذا يختفي ثلثها من نتائج البحث حتى صدّر أحد الروابط الداخلية للموقع فوجد أن 1,100 من أصل 5,200 صفحة لا يشير إليها أي رابط من أي مكان.
كانت الصفحات موجودة في خريطة الموقع، ولهذا كانت معروفة أصلا. خريطة الموقع تلميح، لا أمر: تخبر الزاحف بأن عنوانا موجودا ولا تقول شيئا عن استحقاقه الزيارة، وعلى موقع بخمسة آلاف صفحة هذا الفرق يقرر أي ثلث يُرى.
الطابور، وما يبقي الصفحة فيه
كل ما يفعله الزاحف حلقة. يأخذ عنوانا من طابور، يزوره، يقرأ الروابط في ما وصله، ويضع تلك العناوين في الطابور. هذه الحلقة هي سبب أن الروابط هي التي تعمل: صفحة يشير إليها ثلاثة روابط تدخل الطابور ثلاث مرات بقدر صفحة يشير إليها رابط واحد، وصفحة لا يشير إليها شيء لا تدخله إلا لأن خريطة الموقع وضعتها فيه مرة واحدة.
الإيقاع ظاهر في إحصاءات الزحف الخاصة بمتجر مسار نفسها. الصفحات المرتبطة من الصفحة الرئيسية كانت تُزار كل أربعة أيام، وصفحة منتج على بعد خمس نقرات مرت 52 يوما بين زيارة وأخرى. الموقع نفسه، الخادم نفسه، الأسبوع نفسه. الفرق الوحيد بين الرقمين هو عدد الروابط التي تفصل كل صفحة عن الباب الرئيسي.
ما يجب تغييره وما لا يجب
النقرات من الصفحة الرئيسية هي الرقم الذي يُخفَّض، لا عدد الصفحات. كان الحدس عند متجر مسار أن يكتب صفحات أكثر، وصفحات أكثر على موقع زاحفه متأخر أصلا 52 يوما يجعل المشكلة أكبر. ما نجح كان ثلاثة روابط فقط: صفحة تسرد فئات القطع الاثنتي عشرة، وشريط أحدث الإضافات على الصفحة الرئيسية، وروابط متبادلة بين قطع للطراز نفسه.
انخفضت أبعد صفحة منتج من خمس نقرات إلى نقرتين وانخفضت فترة زيارتها إلى 11 يوما. لم يُكتب شيء، ولم يُقدَّم شيء إلى Google، ولم يتغير إعداد واحد. للزاحف ميزانية على موقع كبير وينفقها على ما هو مرتبط، فكل هذا العمل يدور حول وجهة الروابط.
أين يتعثر هذا: إنفاق الميزانية على لا شيء
ولّدت مرشحات متجر مسار عناوين. كل تركيبة من الماركة والطراز والسنة أنتجت رابطا، وأغلبها أعاد قائمة فارغة، وكان نحو 2,000 منها يُزار باستمرار.
إزالة 2,000 رابط مرشح ميت حررت الزيارات للصفحات الحقيقية. هذه هي آلية ما يسميه الناس ميزانية الزحف، وفي هذا الحجم ليست فكرة مجردة: زاحف ينفذ عددا ثابتا من الطلبات يوميا كان ينفق أغلبها على صفحات لا شيء عليها، لأن الموقع استمر في توليد روابط إليها والزاحف استمر في اتباعها.
فعل هذا عمدا على كتالوج كامل لا على فئة واحدة هو سيو المواقع ذات آلاف الصفحات. التعثر أن لا أحد ينظر إلى ما يُزار، بل إلى ما هو مفقود فقط. الصفحات المفقودة تظهر في تقرير والزيارات المهدورة لا تظهر، والزيارات المهدورة هي سبب فقدان الصفحات أصلا.
قراءة الزحف نفسه
يُظهر تقرير إحصاءات الزحف في Google Search Console عدد الطلبات وما أعادته ونوع الملف، مجانا، وقد حل محل قراءة سجلات الخادم الخام، وهي الأكمل ولا تزال تحتاج من يقرأها. الرقم الذي يُنظر إليه أولا ليس الإجمالي، بل التوزيع حسب الاستجابة: أظهر تقرير متجر مسار أن خمس كل الزيارات تعيد صفحات نتائج فارغة، وهذا ما وجّه أحدهم إلى المرشحات.
تولّد إضافة Yoast SEO خريطة الموقع ويمكن إعدادها لإبقاء روابط المرشحات خارجها، مجانا في النسخة التي تعمل عليها أغلب مواقع WordPress، وقد حلت محل ملفات XML مكتوبة يدويا كانت تتقادم عند أول صفحة تُضاف بعدها. منذ 2026 الإعداد المهم فيها هو أنواع المحتوى والأرشيفات المدرجة، والوضع الافتراضي يدرج عدة أنواع لا يريد أي موقع ظهورها.
صفحة لا يشير إليها أحد صفحة لا يحتاج أحد إخبار الزاحف عنها، وإصلاح هذا إرسال الأهمية إلى حيث تريدها بدافع أبسط بكثير من الأهمية. ما يحدث لصفحة بعد زيارتها قرار نظام آخر مختلف، تشرحه صفحة الفهرسة، وكل هذه الحلقة تقع داخل الآلية قبل أن يصلح أي أسلوب من أساليب سيو المتاجر. لا يعرف متجر مسار بعد ما إذا كانت 1,100 صفحة ستُزار أو تُهمل بمجرد ربطها.