Заявете SEO одит Allow Directive (директива Allow) е инструкция в robots.txt, която изрично разрешава на crawler-и достъп до конкретен URL, файл или директория. Тя най-често се използва за уточняване на изключения в по-широки правила за забрана чрез Disallow.
Какво означава Allow Directive?
Файлът robots.txt дава насоки на търсачките кои части от сайта могат да бъдат обходени. Директивата Allow казва, че определен път е разрешен за обхождане. Това е полезно, когато по-голяма директория е забранена, но отделен ресурс в нея трябва да остане достъпен. Например може да се забрани директория с параметризирани URL адреси, но да се позволи важен CSS файл или конкретна подстраница.
Защо е важно за SEO?
Търсачките трябва да виждат ресурси, които са нужни за рендериране и разбиране на страницата. Ако важни файлове са блокирани, crawler-ът може да оцени страницата непълно. Allow помага за по-точен контрол върху crawl достъпа, особено при сложни URL структури, филтри, вътрешни търсачки и административни секции.
Пример
Примерно правило може да изглежда така: първо се забранява директорията /private/, а след това се разрешава /private/public-guide.pdf. Така crawler-ът получава сигнал, че общата директория не е за обхождане, но конкретният файл е изключение. При конфликт между правила поведението зависи от crawler-а, но основните търсачки обикновено избират най-специфичното съвпадение.
Чести грешки
- Използване на robots.txt като инструмент за премахване на вече индексирани URL адреси.
- Блокиране на CSS, JavaScript или изображения, нужни за рендериране.
- Прекалено общи правила, които неволно засягат важни страници.
- Липса на тест след промяна в robots.txt.
Свързани понятия
Allow Directive е свързана с Disallow, robots.txt, crawl budget, indexing, XML sitemap и technical SEO. Важно е да се прави разлика между разрешение за обхождане и реално индексиране: Allow позволява достъп, но не задължава търсачката да индексира страницата.