SEO термин

Crawl-delay (Забавяне на обхождането)

Директива в robots.txt, която изисква от ботовете да изчакат определено време между заявките.

Crawl-delay (Забавяне на обхождането) е директива в robots.txt, с която сайтът указва на някои ботове да изчакват определен брой секунди между последователни заявки. Целта е да се намали натоварването върху сървъра, когато автоматизираното обхождане е твърде интензивно.

Какво означава Crawl-delay?

Директивата обикновено се записва в robots.txt като правило към конкретен user-agent. Например стойност 10 означава, че ботът трябва да изчака 10 секунди преди следваща заявка. Поддръжката обаче не е еднаква при всички търсачки. Някои краулери я спазват, други я игнорират или използват собствени системи за регулиране на натоварването. Затова crawl-delay трябва да се използва внимателно и само когато има реална техническа причина.

Защо е важно за SEO?

Прекалено агресивното забавяне може да ограничи обхождането на важни страници, особено при големи сайтове с чести промени. Ако ботът има право да прави твърде малко заявки, ново или обновено съдържание може да бъде откривано по-бавно. От друга страна, при слаб сървър или временен пик в натоварването умереното ограничение към определени ботове може да предпази сайта от забавяне за реалните потребители.

Пример

Сайт с много филтърни URL адреси може да установи в логовете, че определен бот изпраща хиляди заявки към нискостойностни страници. Вместо да се добавя общо забавяне за всички търсачки, по-добрият подход е да се ограничи проблемният user-agent, да се почисти crawl пространството чрез robots.txt, canonical сигнали и вътрешна навигация, и чак тогава да се прецени дали crawl-delay е нужен.

Чести грешки

  • Добавяне на висока стойност без анализ на сървърни логове.
  • Очакване, че всички търсачки ще спазват директивата по един и същ начин.
  • Използване на crawl-delay като заместител на добра архитектура и бърз сървър.
  • Прилагане на ограничението към важни ботове, когато проблемът идва от вторични краулери.

Свързани понятия

Темата е свързана с robots.txt, user-agent, crawl rate, crawl budget, server logs, rate limiting и bot management. За SEO анализ е важно да се гледат както правилата във файла, така и реалното поведение на ботовете.

Google спазва ли crawl-delay?

Google не разчита на crawl-delay в robots.txt по начина, по който го правят някои други ботове. За Google е по-важно сайтът да отговаря стабилно и без чести сървърни грешки.

Кога има смисъл от crawl-delay?

Има смисъл при конкретен бот, който натоварва сървъра прекомерно и спазва тази директива. Решението трябва да се базира на логове, а не на предположение.

Може ли crawl-delay да навреди?

Да, ако стойността е твърде висока или е приложена към важни търсачки. Това може да забави откриването на нови страници и повторното обхождане на обновено съдържание.