فروشگاه اینترنتی قطعات خودرو یدکرسان ۹٬۴۰۰ نشانی دارد که بیشترشان از فیلترهای دستهبندی ساخته شدهاند. چهار دستور برای بستنشان هست و اسمشان شبیه هم است و کارشان یکی نیست. هر کدام یک ستون دوم دارند، و ستون دوم دلیل این است که دو تایشان را کنار هم میگذارند به این امید که جمع شوند.
در robots.txt، دیسالو جلوی گرفتن صفحه را میگیرد و نشانیهای از قبل فهرستشده را بیرون نمیبرد؛ آنها میمانند، بدون توضیح. نوایندکس نسخه ذخیرهشده را برمیدارد، ولی صفحه هر بار باز گرفته میشود. گذاشتن هر دو با هم بدترین حالت است: خزنده اجازه ندارد صفحه را بگیرد، پس نوایندکس را هرگز نمیبیند.
کنونیکال یک راهنمایی است، نه یک دستور، و موتور میتواند بیصدا با آن مخالفت کند. ریدایرکت ۳۰۱ نشانی قدیم را برمیدارد و آنچه به دست آورده را منتقل میکند، و همین دلیل وجودش است. اچریافلنگ زبان اشتباه در کشور اشتباه را میگیرد و هر برچسبی را که صفحه مقابل جواب ندهد یکجا نادیده میگیرد.
یک سوال، که هر چهار تا را مرتب میکند
این یک جدول چهارگانه نیست. یک سوال: آیا چیزی بیرون از سایت به این نشانی لینک داده؟ اگر داده، نشانی چیزی به دست آورده و باید جایی برسد نه اینکه متوقف شود: ریدایرکت ۳۰۱ برای صفحهای که برای همیشه جابهجا شده، و کنونیکال برای نسخه تکراریای که باید در دسترس بماند.
انتخاب بین آنها
یک سوال تعیین میکند یک نشانی کدامیک از این چهار را میخواهد
یک جدول چهارگانه نیست. این ابزارها بر سر اینکه نشانی چیزی برای حمل کردن دارد یا نه تقسیم میشوند، و بقیه از همان درمیآید.
- بله، دادهارزش را جابهجا کنیدنشانی چیزی به دست آورده، پس باید جایی برسد نه اینکه متوقف شود.
- ریدایرکت ۳۰۱ برای صفحهای که برای همیشه جابهجا شده
- کنونیکال برای نسخه تکراریای که باید در دسترس بماند
- نه، ندادهارزان ببندیدشچیزی برای حمل کردن نیست، پس تنها پرسش این است که بستنش چقدر خرج دارد.
- نوایندکس جایی که یک آدم هنوز باید به آن برسد
- دیسالو جایی که هیچکس نباید و تعدادشان هزاران است
در یدکرسان همین سوال ۹٬۴۰۰ نشانی را به ۷۵ تای لینکدار و بقیه تقسیم کرد، و آن بقیه با یک خط در یک فایل بسته شدند.
اگر نداده، چیزی برای منتقل کردن نیست و تنها پرسش باقیمانده این است که بستنش چقدر خرج دارد: نوایندکس جایی که یک آدم هنوز باید به آن برسد، و دیسالو جایی که هیچکس نباید و تعدادشان هزاران است.
۹٬۴۰۰ نشانی به ۷۵ تای لینکدار و بقیه تقسیم شد، و آن بقیه با یک خط در یک فایل بسته شدند. کل کار دو ساعت بود و بیشترش صرف پیدا کردن آن ۷۵ تا شد، نه صرف نوشتن قاعده.
یک نتیجه عملی از ستون دوم نوایندکس هم هست که کمتر گفته میشود: نوایندکس بودجه خزش را آزاد نمیکند. صفحهای که نوایندکس دارد هر بار باز گرفته میشود و در سایتی با هزاران نشانی، همان درخواستها جای درخواست به صفحههای فروش را میگیرند. برای همین در یدکرسان تصمیم بین این دو تا نه بر سر ایندکس شدن، که بر سر تعداد بود: هزاران نشانی یعنی دیسالو، و دهها نشانی یعنی نوایندکس.
جایی که کار میایستد: چهار دستور بهعنوان چهار شدت
این چهار تا معمولا مثل چهار درجه از یک کار فهمیده میشوند: از ملایم تا سخت. آنوقت وقتی یکی جواب نمیدهد، بعدی هم رویش گذاشته میشود. نتیجهاش همان ترکیب دیسالو و نوایندکس است که در بیشتر سایتهای بزرگ ایرانی پیدا میشود و کاری میکند که هیچکدام به تنهایی نمیکردند.
توهم شدت در دستورها
فهمیدن چهار ابزار مستقل بهعنوان پلههای شدت
تصور غلط این است که این دستورها از ملایم به سخت مرتب شدهاند، و اگر اولی جواب نداد دومی را رویش میگذارند.
- ۰۴ریدایرکت ۳۰۱نشانی را کامل قطع و اعتبار را به نشانی مقصد منتقل میکندپندار: شدت نهایی
- ۰۳دیسالو در robots.txtمانع خزش میشود اما نشانیهای ایندکسشده قبلی را پاک نمیکندپندار: درجه سخت
- ۰۲نوایندکسصفحه را از نتایج برمیدارد اما خزش همچنان انجام میشودپندار: درجه متوسط
- ۰۱کنونیکالتنها یک پیشنهاد به موتور جستجو است، نه دستور بستنپندار: ملایمترین
ترکیب دیسالو و نوایندکس نتیجه همین نگاه پلکانی است: ربات مانع خزش میشود، پس تگ نوایندکس را هرگز نمیخواند.
عددی که این را زنده نگه میدارد تعداد صفحههای ایندکسشده است. با هر دستور بستهشدن پایین میآید و پایین آمدنش شبیه پیشرفت است، در حالی که ممکن است صفحههای فروش هم داخلش باشند. یدکرسان یک بار با یک الگوی اشتباه در همان یک خط، ۱۲۰ صفحه دستهبندی واقعی را هم بست.
در ۲۰۲۶ با چه چیزی
گزارش پوشش سرچ کنسول میگوید هر نشانی الان در چه وضعی است و چرا، و جای شمردن نتایج یک جستوجوی site: را میگیرد که عددی تقریبی و ناپایدار میدهد. رایگان است و از ایران بدون واسطه باز میشود، و برای این کار تنها منبع قابل اتکاست.
ابزارهای بررسی در ۲۰۲۶
دادههای سرچ کنسول در برابر حدسهای واسطهای
برای سایتهای ایرانی، دادههای سرچ کنسول تنها منبع اتکا برای تفکیک نشانیهای باارزش از آدرسهای هدردهنده خزش است.
گزارش لینکهای ورودی مشخص میکند کدام نشانی ارزش انباشته دارد و باید به مقصد هدایت شود.
ابزار دوم گزارش لینکهای ورودی است، که همان سوال یکخطی بالا را جواب میدهد. جای حدس زدن اینکه کدام نشانی ارزش دارد را میگیرد. برای فارسی داده لینک ابزارهای جهانی نازک است و سرچ کنسول تنها جایی است که لینکهای واقعی سایت خودتان را میشمارد. نشانههایی که از سایتهای دیگر میآیند بقیهاش را میگوید.
چند تکه این کار
ریدایرکتها شاخه چپ تصمیماند و کنونیکال نیمه دیگرش. کنترل خزش شاخه راست است، و اچریافلنگ تنها یکی از این پنج تاست که به دو صفحه همزمان احتیاج دارد.
پنج دستور
هر دستور جلوی چه چیزی را میگیرد، و چه چیزی به هر حال رد میشود
هر سطر نیمه دومی دارد، و همان نیمه دوم دلیل این است که دو تا از اینها را کنار هم میگذارند به این خیال که جمع میشوند.
- دیسالو در robots.txt+گرفته شدن، برای هر نشانی که با الگو بخواند→هر چیزی که از قبل فهرست شده و بیتوضیح در فهرست میماند
- نوایندکس+نسخه ذخیرهشده، بعد از اینکه صفحه گرفته شد→خودِ خزش، که هر بار یک درخواست خرج برمیدارد
- کنونیکال+دو نشانی که دو صفحه شمرده شوند، معمولا→هر موردی که موتور با آن مخالف باشد، بیصدا، چون یک راهنمایی است
- ریدایرکت ۳۰۱+باز شدن نشانی قدیم، بهکلی→تقریباً هر چیزی که نشانی قدیم به دست آورده، که دلیل وجودش است
- اچریافلنگ+نمایش زبان اشتباه در کشور اشتباه→هر برچسبی که صفحه مقابل جوابش را برنگرداند، که یکجا نادیده میشود
شکلی که فقط ستون چپ را مینوشت، آگهی چهار برچسب میشد که هرکدام جایی نشت دارند.
این لایه زیر آن نتیجهای بودن که کلیک میشود، بیآنکه پولش را داده باشید نشسته و تعیین میکند بقیه اصلا به حساب میآیند یا نه. آنچه این دستورها رویش اعمال میشوند در رابطه صفحهها با هم، که موضوع سایت را تعیین میکند ساخته میشود، و سازوکار پشتشان در پیش از هر تاکتیکی، خود ماشین است.
آن ۷۵ نشانی لینکدار، لینکهایی هستند که سرچ کنسول امروز میشناسد. یدکرسان نمیداند چند لینک دیگر از جاهایی آمده که هنوز کشف نشدهاند، و هر کدامشان که بعدا پیدا شود روی نشانیای میافتد که همین حالا بسته شده. سوال بعدی این است که آن یک خط را هر چند وقت باید دوباره خواند.