دستورالعمل های خزنده

Crawler Directives (دستورات کرالر) دستوراتی هستند که توسط وب‌سایت‌ها برای موتورهای جستجو ارسال می‌شوند تا رفتار کرالرها (Crawlers) در اسکن و ایندکس صفحات وب‌سایت تنظیم شود. این دستورات معمولاً در فایل robots.txt یا در هدرهای صفحات وب قرار می‌گیرند و تعیین می‌کنند که کدام بخش‌ها از وب‌سایت می‌توانند توسط کرالرها اسکن شوند و یا اینکه کدام بخش‌ها باید از اسکن خارج شوند.

چندین دستور معروف برای کنترل رفتار کرالرها وجود دارد:

1. Disallow: این دستور در فایل robots.txt برای جلوگیری از اسکن یک قسمت خاص از وب‌سایت استفاده می‌شود. به عنوان مثال، Disallow: /admin جلوگیری از اسکن صفحات داخل پوشه admin را مشخص می‌کند.

2. Allow: این دستور در فایل robots.txt برای اجازه دادن به کرالرها برای اسکن یک بخش خاص از وب‌سایت استفاده می‌شود. مثلاً Allow: /images اجازه اسکن پوشه تصاویر را فراهم می‌کند.

3. Noindex: این دستور در هدر صفحات HTML استفاده می‌شود و به کرالرها می‌گوید که این صفحه را از ایندکس کردن در نتایج جستجو منع کنند.

4. Nofollow: همچنین در هدرهای صفحات HTML استفاده می‌شود و به کرالرها می‌گوید که لینک‌های موجود در این صفحه را دنبال نکنند.

5. Canonical: این دستور به کرالرها نشان می‌دهد که یک صفحه مشخص به عنوان منبع اصلی یا کانونیکال برای یک مجموعه از صفحات استفاده شود و این ایندکس‌شدن صفحات تکراری را جلوگیری می‌کند.

این دستورات به موتورهای جستجو راهنمایی می‌کنند که صفحاتی را که می‌توانند اسکن شوند و یا در نتایج جستجو نمایش داده شوند را مشخص کنند و نقش مهمی در بهبود سئو و تنظیمات وب‌سایت دارند.