1. Crawl-delay
Теперь вы можете управлять таймаутом, с которым поисковый робот Яндекса закачивает страницы с вашего сервера (Crawl-delay).
Примеры:
User-agent: Yandex Crawl-delay: 2 # задает таймут в 2 секунды User-agent: * Disallow: /search Crawl-delay: 4.5 # задает таймут в 4.5 секунды
2. Поддержка GZIP
В роботе добавлена поддержка скачивания сжатого контента. Теперь поисковый робот Яндекса при каждом запросе документа говорит: «Accept-Encoding: gzip,deflate».
Почитать подробнее в блоге Яндекса: Директива Crawl-delay и поддержка GZIP
