Exabot
Вебмастера и SEO-специалисты, которые занимаются технической оптимизацией сайта, лишь изредка (в моем случае) наблюдают в логах сервера визиты бота "Exabot". В моем случае, анализируя один сайт за 8 месяцев (01.2019-08.2019), этот бот сделал всего 366 запросов (выходит около 45 в месяц).
В целом частотность запросов бота "Exabot" имеет равномерное распределение за все время:
Exabot в логах и его поведение
Во всех обращениях этот бот представлялся одинаково - Exabot/3.0 и с одного и того же IP адреса. Пример запроса к серверу:
178.255.215.93 [03/Aug/2019:01:08:58 +0300] "GET / HTTP/1.1" 403 394 0.000 "-" "Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)"
Бот относится к "вежливым", всегда перед сканированием запрашивает файл "robots.txt". Exabot запрашивает также страницы сайта и файлы карты сайта (XML). Особенно часто запрашивает главную страницу сайта (30% от общего кол-ва запросов к серверу) и файл "robots.txt" (40% от общего кол-ва запросов к серверу).
Что известно о боте Exabot
Все запросы производились с одного IP адреса 178.255.215.93. Исходя из данных сервер находится во Франции и в базе AbuseIPDB на запросы с этого IP адреса есть замечания:
По указанному URL для официальной информации (http://www.exabot.com/go/robot) узнать ничего не получается сейчас, но известно, что в январе 2018 года работала цепь редиректов: http://www.exabot.com/go/robot -> http://www.exalead.com/go/robots -> http://www.exalead.com/search/webmasterguide и уже из последнего адреса можно узнать об этом роботе более подробную информацию.
Как указано в официальном описании под именем бота "Exabot" приходит индексирующий робот поисковой системы Exalead разработанной одноименной компанией Exalead. Головной офис находится во Франции, собственно отсюда и "растут ноги" (запросы с IP 178.255.215.93). Узнать больше информации об этой компании можно на официальном сайте.
Выводы
- Слушает robots.txt
- Не создает нагрузки на сервер, запросы редкие.
- Принадлежит поисковой системе, но с таким кол-вом запросов представляется очень малый индекс (возможно малый для стран, отличных от Франции).
- Лично я не вижу пользы от бота Exabot и занес его в список «Ненужные боты». Вреда и нагрузки на сервер он также не несет (около 45 запросов в месяц).