Заявете SEO одит X-Robots-Tag е HTTP header, чрез който сървърът дава инструкции на търсачките как да третират даден URL. Той изпълнява сходна роля с meta robots таг, но се задава на ниво HTTP отговор и може да се използва не само за HTML страници, а и за PDF файлове, изображения, документи и други ресурси.
Какво означава X-Robots-Tag?
Header-ът може да съдържа директиви като noindex, nofollow, noarchive или nosnippet. Например `X-Robots-Tag: noindex` казва на съвместимите търсачки да не включват ресурса в индекса си. Това е полезно, когато няма възможност да се постави meta robots таг в самия документ.
Защо е важно за SEO?
X-Robots-Tag е важен инструмент за контрол върху индексирането. Чрез него могат да се управляват технически файлове, дублирани версии, вътрешни документи, филтрирани страници или ресурси, които трябва да останат достъпни за потребители, но да не се появяват в резултатите от търсене. Грешна конфигурация обаче може да премахне важни страници от индекса.
Пример
Ако сайт публикува PDF инструкции само за потребители след навигация от определена страница, администраторът може да добави `X-Robots-Tag: noindex` към PDF отговора. Така документът може да се отвори, но не се насърчава самостоятелното му индексиране.
Чести грешки
- Поставяне на noindex върху шаблон, който засяга важни публични страници.
- Смесване на robots.txt блокиране с noindex, без да се разбира разликата.
- Липса на проверка на реалните HTTP отговори след промени в сървърната конфигурация.
Свързани понятия
Свързани понятия са meta robots, robots.txt, noindex, HTTP headers, crawling, indexing и canonical tag.