SEO термин

Meta Robots (Роботи)

HTML таг, който указва на ботовете на търсачките как да третират конкретна страница (напр. дали да я индексират).

Meta Robots е HTML мета таг, чрез който се дават инструкции на търсачките как да обработват конкретна страница. Най-често се използва за указания като index, noindex, follow и nofollow, които влияят върху индексирането и проследяването на връзки.

Какво означава Meta Robots?

Meta Robots се поставя в head секцията на HTML документа и се чете от crawler-и като Googlebot. Чрез него може да се посочи дали страницата трябва да бъде включена в индекса, дали връзките на нея могат да бъдат следвани, дали да се показва snippet и как да се третира кеширано съдържание.

Типичен пример е инструкцията noindex, която казва на търсачката да не включва страницата в резултатите. Това е полезно за вътрешни страници, филтри, thank-you страници, тънко съдържание или временни URL адреси, които не трябва да се конкурират с основните страници.

Защо е важно за SEO?

Meta Robots е един от основните инструменти за контрол върху индексацията. Неправилна стойност може да скрие важна страница от търсачките или да остави нежелани URL адреси в индекса. При големи сайтове това влияе върху crawl budget, канибализацията и качеството на страниците, които Google вижда.

Важно е Meta Robots да се разглежда заедно с robots.txt, canonical тагове, sitemap файлове и HTTP headers. Тези механизми имат различна роля и не трябва да се смесват механично.

Пример

Страница за потвърждение след изпратена форма може да използва noindex, follow, за да не се появява в резултатите от търсене, но линковете в нея да останат достъпни за crawling. Обратно, важна категория или услуга не трябва случайно да съдържа noindex.

Чести грешки

  • Оставяне на noindex след staging, редизайн или миграция.
  • Блокиране на URL в robots.txt и очакване Google да види meta noindex.
  • Използване на nofollow без ясна причина за вътрешни връзки.
  • Смесване на canonical и noindex при страници, които трябва да консолидират сигнали.

Свързани понятия

Meta Robots е свързан с robots.txt, X-Robots-Tag, canonical таг, crawling, indexing, crawl budget, Googlebot, sitemap и технически SEO одит.

Каква е разликата между robots.txt и Meta Robots?

Robots.txt контролира достъпа за crawling на ниво път, докато Meta Robots дава инструкции за конкретна страница, след като crawler-ът може да я зареди.

Кога се използва noindex?

Noindex се използва за страници, които трябва да останат достъпни за потребители или системи, но не трябва да се показват в резултатите от търсене.

Може ли грешен Meta Robots таг да свали страница от индекса?

Да. Ако важна страница съдържа noindex и търсачката го обработи, страницата може да бъде премахната от индекса след повторно обхождане.