WHITE-HAT-SEO-KLIMIN

Оптимизация сайта для Человека

Exabot

Вебмастера и SEO-специалисты, которые занимаются технической оптимизацией сайта, лишь изредка (в моем случае) наблюдают в логах сервера визиты бота "Exabot". В моем случае, анализируя один сайт за 8 месяцев (01.2019-08.2019), этот бот сделал всего 366 запросов (выходит около 45 в месяц).

В целом частотность запросов бота "Exabot" имеет равномерное распределение за все время:

частота запросов бота Exabot к серверу

Exabot в логах и его поведение

Во всех обращениях этот бот представлялся одинаково - Exabot/3.0 и с одного и того же IP адреса. Пример запроса к серверу:

178.255.215.93 [03/Aug/2019:01:08:58 +0300] "GET / HTTP/1.1" 403 394 0.000 "-" "Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)"

 

Бот относится к "вежливым", всегда перед сканированием запрашивает файл "robots.txt". Exabot запрашивает также страницы сайта и файлы карты сайта (XML). Особенно часто запрашивает главную страницу сайта (30% от общего кол-ва запросов к серверу) и файл "robots.txt" (40% от общего кол-ва запросов к серверу).

Что известно о боте Exabot

Все запросы производились с одного IP адреса 178.255.215.93. Исходя из данных сервер находится во Франции и в базе AbuseIPDB на запросы с этого IP адреса есть замечания:

данные сервиса AbuseIPDB по IP 178.255.215.93

По указанному URL для официальной информации (http://www.exabot.com/go/robot) узнать ничего не получается сейчас, но известно, что в январе 2018 года работала цепь редиректов: http://www.exabot.com/go/robot -> http://www.exalead.com/go/robots -> http://www.exalead.com/search/webmasterguide и уже из последнего адреса можно узнать об этом роботе более подробную информацию.

Как указано в официальном описании под именем бота "Exabot" приходит индексирующий робот поисковой системы Exalead разработанной одноименной компанией Exalead. Головной офис находится во Франции, собственно отсюда и "растут ноги" (запросы с IP 178.255.215.93). Узнать больше информации об этой компании можно на официальном сайте.

Выводы

В группе ВКонтакте публикуются новости для SEO специалистов