Да, вы правы сегодняшний пост я решил посвятить поисковикам, тем которые приносят многим блогам трафик. Те в которых мы с надеждой хотим увидеть наш сайт или блог в первых позиция в поисковой выдаче.
Первый обрадовал своей новостью . Оказывается уже можно управлять таймаутом с которым поисковый робот закачивает страницы вашего сервера. Теперь с помощью дерективы “Crawl-delay” можно задать поисковому роботу минимальный период времени между концом закачки одной страницы и началом закачки следующей. Также поисковый робот поддерживает дробные значения “Crawl-delay” например 0,5 секунд. Как заверяют в Яндексе это не даст вам гарантии что поисковик будет заходить каждых полсекунды, но только дает роботу больше свободы и позволяет ускорить обход сайта. То что и надо всем нам так что всем дружненько править свои robots.txt ну и анализировать.
Чуть не забыл сказать и про поддержку GZIP поисковым роботом Яндекса. Для тех кто не знает это поддержка скачивания сжатого контента. Это конечно хорошо но передача контента в сжатом виде увеличивает нагрузку на процессор вашего сервера а это не есть хорошо.
Все уже знают о продаже Рамблера и вот он решил подвести свои как раз. И по ним видно что выручка компании составила US$52 миллиона, что показывает рост на 153% по сравнению с прошлым годом (I полугодие 2007 – US$20.5 миллиона), на фоне продолжающегося улучшения прибыльности.
Напоследок про всеми известный google. На рассказывается про нововведения которые появились в почте Gmail. Была разработана функция которая позволяет просматривать недавнюю активность вашего аккаунта и улучшить безопасность вашего почтового ящика.
Вот такая вот получилась сборная солянка про поисковики. Хотелось узнать у читателей блога, кто что думает по поводу улучшений поискового бота Яндекса? Повлияет ли это на ускорение обхода сайта или нет?
