Совсем недавно исследователи из ИнтерЛабс повторили интересный эксперимент. Они проанализировали состояние файлов robots.txt у сайтов, которые находятся в Яндекс.Каталоге и сверили результаты своей проверки с результатом подобного эксперимента, но двухлетней давности.

Цель исследования была достаточно проста:

  • Выяснить уровень технической грамотности у вебмастеров, владеющими сайтами, находящимися в Яндекс.Каталоге.
  • Выяснить прогрессируют ли российские вебмастера в профессиональном плане.

Для тех кто не в курсе, robots.txt содержит команды для поисковых роботов, указывающие какие участки сайты индексировать можно, а какие нельзя, это вкратце.

Исследование, с которым вы можете ознакомиться на главной странице searchengines.ru, в целом показало, что уровень грамотности вебмастеров потихоньку растет, но не такими уж и быстрыми темпами.

Файл robots.txt был найдем примерно у 60% сайтов, находящихся в Яндекс.Каталоге. Хотя я отмечу, что для корректной индексации его наличие не всегда обязательно — поисковые системы сейчас вполне умные, и сами могут отбрасывать служебные страницы.

Более плачевна ситуация с файлом sitemap.xml (xml-карта сайта с 2008 года официально поддерживается Яндексом) — этот файл находиться на менее чем 10% сайтов, размещенных в ЯКе.

С другой стороны, оценивать грамотность вебмастеров по сайтам в ЯКе — не самая хорошая идея. Там реально много старых, любительских сайтов, которые совсем не отображают уровень современного вебмастера. Для адекватной картины стоит оценивать топ-10 выдачи Яндекса по нескольким тысячам запросов — так можно будет увидеть адекватную картину происходящего.

В целом же советую всем прочитать концовку исследования, и обратить внимание на robots.txt у сайта last.fm — сразу видно вебмастера с юмором.

Кстати, советую обратить внимание на продажу бытовой химии оптом по ооочень приятным ценам. Многим может пригодиться.