Журнал веб разработчикаБлог о разработке, тестировании веб-приложений

1. Crawl-delay
Теперь вы можете управлять таймаутом, с которым поисковый робот Яндекса закачивает страницы с вашего сервера (Crawl-delay).

Примеры:

User-agent: Yandex
Crawl-delay: 2 # задает таймут в 2 секунды 

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймут в 4.5 секунды 

2. Поддержка GZIP
В роботе добавлена поддержка скачивания сжатого контента. Теперь поисковый робот Яндекса при каждом запросе документа говорит: “Accept-Encoding: gzip,deflate”.

Почитать подробнее в блоге Яндекса: Директива Crawl-delay и поддержка GZIP

Шпаргалки по поисковой оптимизации. Весь материал на английском языке.

• SEOmoz - The Web Developer’s SEO Cheat Sheet - обновление 10 июля 2008 года
• Scribd -The Web Developers SEO Cheat Sheet
• Шпаргалка по SEO от Антона Шевчука
• Mihai’s SEO Cheat Sheet

Никогда не принижайте значимость анализа статистических данных Вашего сайта. Проще говоря, анализ статистики даст Вам пищу для размышлений, укажет Вам на ошибки сайта, поставит на истинный путь…

Вот покажите мне хотя бы одного адекватного веб-мастера, не использующего передовых систем для сбора статистики… Я думаю, что вряд ли такие есть.

дальше