Aug 01 2008

В поисковый робот Яндекса добавлены директива Crawl-delay и поддержка GZIP

Category: SEOIgor @ 22:43

1. Crawl-delay
Теперь вы можете управлять таймаутом, с которым поисковый робот Яндекса закачивает страницы с вашего сервера (Crawl-delay).

Примеры:

User-agent: Yandex
Crawl-delay: 2 # задает таймут в 2 секунды 

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймут в 4.5 секунды 

2. Поддержка GZIP
В роботе добавлена поддержка скачивания сжатого контента. Теперь поисковый робот Яндекса при каждом запросе документа говорит: «Accept-Encoding: gzip,deflate».

Почитать подробнее в блоге Яндекса: Директива Crawl-delay и поддержка GZIP