X-robots-tag

X-Robots-Tag یک هدر HTTP است که توسط وب‌سرور برای ارسال دستورات به موتورهای جستجو و دستگاه‌های دیگر که محتوای صفحه را فهرست‌بندی می‌کنند، استفاده می‌شود. این هدر به وبمستران اجازه می‌دهد تا کنترل کنند که موتورهای جستجو آیا یک صفحه را فهرست‌بندی کنند یا خیر، و چه اطلاعاتی از آن فهرست‌بندی شود یا نشود.

دستورات X-Robots-Tag به صورت مستقیم در هدر HTTP یا به عنوان بخشی از تگ meta در قسمت head HTML صفحه قرار می‌گیرند. این دستورات می‌توانند شامل مواردی مانند noindex (عدم فهرست‌بندی صفحه)، nofollow (عدم دنبال کردن لینک‌ها در صفحه)، noarchive (عدم ذخیره سازی آرشیو محتوا توسط موتورهای جستجو) و موارد دیگر باشند.

استفاده از X-Robots-Tag می‌تواند برای کنترل بیشتر محتوا در نتایج جستجوی گوگل و دیگر موتورهای جستجو مفید باشد. برای مثال، این هدر می‌تواند برای جلوگیری از فهرست‌بندی یا دنبال کردن لینک‌های خاص در یک صفحه استفاده شود.