Заявете SEO одит Disallow Directive (директива Disallow) е инструкция в robots.txt, която казва на съвместимите crawler-и да не обхождат определен URL, папка или група от адреси. Тя контролира достъпа за обхождане, но не е същото като забрана за индексиране и не трябва да се използва като единствен метод за скриване на чувствително съдържание.
Какво означава Disallow Directive?
Файлът robots.txt се намира в основната директория на сайта и съдържа правила за потребителски агенти, например Googlebot или други ботове. Директивата Disallow посочва път, който не трябва да бъде обхождан. Ако стойността е празна, това обикновено означава, че няма забрана за съответния агент. Ако е посочена наклонена черта, може да бъде блокирано обхождането на целия сайт.
Защо е важно за SEO?
Disallow помага за управление на crawl budget, ограничаване на дублирани секции, филтри, вътрешни търсения, staging части или параметризирани URL адреси. Неправилна настройка обаче може да блокира важни страници, CSS, JavaScript или изображения, което затруднява разбирането и визуализирането на сайта от търсачките. Затова всяка промяна в robots.txt трябва да се проверява внимателно.
Пример
Правилото Disallow: /admin/ указва, че пътят /admin/ не трябва да се обхожда от агента, за който се отнася групата правила. Това не означава, че URL адресите не могат да се появят в резултатите, ако са известни чрез външни линкове или други сигнали.
Чести грешки
- Блокиране на целия сайт по време на миграция и забравяне на правилото след пускане.
- Използване на Disallow вместо noindex за контрол на индексирането.
- Блокиране на ресурси, нужни за правилно рендиране на страниците.
Свързани понятия
Disallow Directive е свързана с robots.txt, crawl budget, robots meta tag, noindex, user-agent, sitemap и техническо SEO.