# Crawl-delay (Забавяне на обхождането)

> Тип: SEO речник | URL: https://betterseo.bg/seo-glossary/crawl-delay/

## Съдържание

Crawl-delay (Забавяне на обхождането) е директива в robots.txt, с която сайтът указва на някои ботове да изчакват определен брой секунди между последователни заявки. Целта е да се намали натоварването върху сървъра, когато автоматизираното обхождане е твърде интензивно.
Какво означава Crawl-delay?
Директивата обикновено се записва в robots.txt като правило към конкретен user-agent. Например стойност 10 означава, че ботът трябва да изчака 10 секунди преди следваща заявка. Поддръжката обаче не е еднаква при всички търсачки. Някои краулери я спазват, други я игнорират или използват собствени системи за регулиране на натоварването. Затова crawl-delay трябва да се използва внимателно и само когато има реална техническа причина.
Защо е важно за SEO?
Прекалено агресивното забавяне може да ограничи обхождането на важни страници, особено при големи сайтове с чести промени. Ако ботът има право да прави твърде малко заявки, ново или обновено съдържание може да бъде откривано по-бавно. От друга страна, при слаб сървър или временен пик в натоварването умереното ограничение към определени ботове може да предпази сайта от забавяне за реалните потребители.
Пример
Сайт с много филтърни URL адреси може да установи в логовете, че определен бот изпраща хиляди заявки към нискостойностни страници. Вместо да се добавя общо забавяне за всички търсачки, по-добрият подход е да се ограничи проблемният user-agent, да се почисти crawl пространството чрез robots.txt, canonical сигнали и вътрешна навигация, и чак тогава да се прецени дали crawl-delay е нужен.
Чести грешки
- Добавяне на висока стойност без анализ на сървърни логове.
- Очакване, че всички търсачки ще спазват директивата по един и същ начин.
- Използване на crawl-delay като заместител на добра архитектура и бърз сървър.
- Прилагане на ограничението към важни ботове, когато проблемът идва от вторични краулери.
Свързани понятия
Темата е свързана с robots.txt, user-agent, crawl rate, crawl budget, server logs, rate limiting и bot management. За SEO анализ е важно да се гледат както правилата във файла, така и реалното поведение на ботовете.
Google спазва ли crawl-delay?
Google не разчита на crawl-delay в robots.txt по начина, по който го правят някои други ботове. За Google е по-важно сайтът да отговаря стабилно и без чести сървърни грешки.
Кога има смисъл от crawl-delay?
Има смисъл при конкретен бот, който натоварва сървъра прекомерно и спазва тази директива. Решението трябва да се базира на логове, а не на предположение.
Може ли crawl-delay да навреди?
Да, ако стойността е твърде висока или е приложена към важни търсачки. Това може да забави откриването на нови страници и повторното обхождане на обновено съдържание.

## Други речникови термини
- [Виж пълния SEO речник](https://betterseo.bg/seo-glossary/)

---
> За пълна карта на сайта последвайте https://betterseo.bg/llms.txt