خزنده یک صفحه را با دنبال کردن لینکی به آن یا خواندنش در نقشه سایت پیدا میکند، و راه سومی ندارد. انبار قطعات دستدوم «یدکیاب» در قم ۴۱۲۰ صفحه کالا داشت و در گزارش خزش دید که ۹۰۰ تا از ۴۱۲۰ صفحه هیچ لینکی از هیچجا نداشتند. این صفحهها وجود داشتند، باز میشدند، و برای موتور جستوجو عملاً نبودند.
نقشه سایت هم آنها را نجات نداده بود، و دلیلش را باید صریح گفت: نقشه سایت یک اشاره است، نه یک دستور. آدرسی که فقط در نقشه سایت باشد و هیچ لینکی به آن نرسد، یک بار در صف مینشیند و بعد از آن چیزی آن را دوباره بالا نمیآورد. لینک، هم پیدا شدن است و هم دوباره پیدا شدن.
فاصله از صفحه اصلی هم مستقیم روی این مینشیند و عددهایش در همان گزارش بود. صفحههای لینکشده از صفحه اصلی هر سه روز دوباره خوانده میشدند، در حالی که صفحهای چهار کلیک دورتر، ۴۷ روز بین دو خواندن فاصله داشت. برای انباری که موجودیاش هر هفته عوض میشود، ۴۷ روز یعنی نتایج جستوجو قطعهای را نشان میدهند که یک ماه پیش فروخته شده.
عددی که باید کم شود
نتیجه عملی این دو عدد، یک تغییر جهت در کار است. عددی که باید کم شود تعداد کلیک از صفحه اصلی است، نه تعداد صفحه. بیشتر تیمها وقتی این گزارش را میبینند شروع میکنند به حذف صفحه، در حالی که مسئله عمق است نه تعداد. یدکیاب صفحهای اضافه کرد که ۴۰ دسته پرتکرار را از صفحه اصلی مستقیم لینک میکرد، و عمق بیشتر صفحههای کالا از چهار به دو رسید.
کاهش عمق
تغییر عددهای خزش پس از لینکدهی مستقیم و حذف فیلترها
بهجای پاک کردن صفحههای کالا، مسیر دسترسی از صفحه اصلی کوتاه شد و آدرسهای بینتیجه فیلتر از سر راه خزنده برداشته شدند.
- ۴۰دسته پرتکرار لینکشده مستقیمعمق بیشتر صفحههای کالا را از چهار کلیک به دو کلیک رساند.
- ۱۶۰۰آدرس فیلتر مرده حذفشدهترکیبهایی که به صفحه خالی میرسیدند و بودجه خزش را میبلعیدند.
- ۴۷ روزفاصله خزش پیش از پاکسازیمیانگین انتظار صفحههای چهار کلیک دورتر برای خوانده شدن دوباره.
- ۱۱ روزمیانگین فاصله پس از شش هفتهسهم خواندنهای آزادشده به صفحههای واقعی کالا برگشت.
در سایت چهارهزارصفحهای، هر آدرس اضافی جای یک صفحه واقعی را در بودجه خزش میگیرد.
پشت این رفتار یک محدودیت واقعی هست. خزنده در یک سایت بزرگ بودجه دارد و خرجش میکند روی چیزی که لینک دارد. این بودجه در یک سایت پنجاهصفحهای اصلاً موضوعیت ندارد و در یک انبار چهارهزارصفحهای تعیینکننده است. یعنی هر آدرسی که بیفایده خوانده میشود، جای یک صفحه واقعی را گرفته است.
و بیشترین اتلاف در یدکیاب از جایی میآمد که کسی به آن به چشم صفحه نگاه نمیکرد: آدرسهایی که فیلترهای جستوجو میساختند و ترکیبهایشان به صفحه خالی میرسید. حذف ۱۶۰۰ آدرس فیلترِ مرده، خواندنها را برای صفحههای واقعی آزاد کرد، و در شش هفته میانگین فاصله خواندن صفحههای کالا از ۴۷ روز به ۱۱ روز رسید.
چطور این را ببینید
گزارش آمار خزش سرچ کنسول گوگل رایگان است و جای خواندن لاگ خام سرور را گرفته، که کاملتر است و کسی را میخواهد که بلد باشد بخواندش. چیزی که باید اول نگاه کنید، تفکیک بر اساس کد پاسخ است: اگر بخش بزرگی از خواندنها به ۳۰۴ یا ۴۰۴ میرسد، بودجه دارد جایی خرج میشود که هیچ صفحهای آنطرفش نیست.
پایش خزش
سه نشانه در گزارش خزش که وضعیت بودجه را روشن میکند
خواندن آمار خزش جای حدس و گمان را میگیرد، به شرط آنکه بدانید کدام سیگنال نشانه سلامت است و کدام یک جایگزین لینک داخلی نمیشود.
گزارش آمار خزش
- بلهبررسی رایگان آمار خزش در سرچ کنسولجای خواندن لاگ خام سرور را میگیرد و رفتار کلی خزنده را نشان میدهد.بله
- خیرهدررفت بودجه روی کدهای ۳۰۴ و ۴۰۴سهم بالای این کدها یعنی خزنده به آدرسهایی میرود که صفحه تازهای در آن نیست.خیر
- بررسی نشدهنقشه سایت خودکار یوست سئو از ۲۰۰۸تولید خودکار را حل کرد، اما بهتنهایی جای لینک داخلی را نمیگیرد.بررسی نشده
لاگ خام سرور کاملتر است اما برای بیشتر تیمها تفکیک کد پاسخ در سرچ کنسول برای شروع کافی است.
برای نقشه سایت هم لازم نیست چیزی دستی نوشته شود. یوست سئو از ۲۰۰۸ نقشه سایت را در وردپرس خودکار کرد و جای فایلهای دستی را گرفت که با اضافه شدن صفحه بعدی کهنه میشدند؛ نسخه رایگانش همان چیزی است که بیشتر سایتها استفاده میکنند. اما این هیچکدام جای لینک داخلی را نمیگیرد.
وقتی صفحهای ساخته میشود و کسی به آن اشاره نمیکند
حالت شکست این کار در سایتهای ایرانی خیلی رایج است، چون صفحهها را معمولاً یک سامانه از روی پایگاه داده میسازد و لینکها را یک آدم مینویسد. صفحهای که کسی به آن لینک نمیدهد، صفحهای است که لازم نیست کسی از آن خبردار شود، و این جمله را باید همانقدر جدی گرفت که تلخ است: اگر ارزش لینک دادن از یک صفحه دیگر سایت خودتان را ندارد، احتمالاً ارزش ساخته شدن هم نداشته.
خزش
حلقهای که تعیین میکند کدامیک از چهار هزار صفحه دیده شود
هیچچیز در این دایره درباره کیفیت داوری نمیکند؛ صفی است که خودش را از لینکها پر میکند، و برای همین صفحهای که لینک ورودی ندارد دیگر هیچوقت دور نمیزند.
- ۰۱لینکی دنبال میشود
- ۰۲آدرس وارد صف میشود
- ۰۳خوانده میشود
- ۰۴لینکهای خودش برمیگردند داخل
- ۰۱لینکی دنبال میشودیا یک سطر نقشه سایت یک بار خوانده میشود، که ضعیفتر است.
- ۰۲آدرس وارد صف میشودسه لینک ورودی یعنی سه برابر شانس گرفتن یک جا.
- ۰۳خوانده میشودنزدیک در ورودی هر سه روز، و چهار کلیک دورتر هر ۴۷ روز.
- ۰۴لینکهای خودش برمیگردند داخلو صفحه لینکشده به همین شکل صفحههای زیر خودش را زنده نگه میدارد.
این حلقه چیزی درباره نگه داشته شدن صفحه خواندهشده نمیگوید. آن سامانه جداست و روز دیگری کار میکند، و یک صفحه میتواند سالها در این دایره بچرخد و هیچکس ذخیرهاش نکند.
خوانده شدن هم هنوز به معنی نگه داشته شدن نیست؛ آن کار سامانه دیگری است و در روز دیگری اجرا میشود، که موضوع ذخیره شدن، و چرا صفحه خزیدهشده ممکن است نباشد است. کاری که عمق را کم میکند، فرستادن اعتبار به جایی که میخواهید نام دارد، و همان آدرسهای فیلتر، مسئله ویژه سئوی فروشگاه اینترنتی است.