Barkrowler
О боте
Barkrowler - это бот компании eXenSa, компания занимается машинным обучением и анализом текстовых данных. Заявленная цель сканирования: определить семантическую или тематическую направленность веб-сайтов и страниц. Основатель компании Guillaume Pitel (Гийом Питель, француз) придумал алгоритм NCISC (пока нет официально опубликованных данных об этом алгоритме).
А далее начинается магия: до июня 2019 года бот приходил от имени exensa.com, потом было время "тишины" и уже начиная с февраля 2020 бот приходит от имени babbar.tech - видимо произошли какие-то изменения в компании. Подробную информацию о боте Barkrowler можно узнать на официальных сайтах Exensa.com и Babbar.tech.
Поведение бота
Несмотря на то, что на официальном сайте последняя новость о продвижении работ над ботом была опубликована в апреле 2017 года, Barkrowler лишь недавно стал более активно запрашивать ресурсы рунета. В моем случае бот начал активные действия с мая 2020 года, а впервые был замечен в феврале 2019 года.
Возможно интересы бота только сейчас начали распространяться на русскоязычные сайты, исходя из графика активности в логах сервера. Выборка из логов производилась 15 августа 2020 года и в августе не было запросов от этого бота, быть может вскоре снова появятся. Как описывалось в "О боте" данный бот приходил с разными User-Agent:
Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler) - 94,7%
Barkrowler/0.9 (+https://babbar.tech/crawler) - 5,2%
Barkrowler/0.9 (+http://www.exensa.com/crawl) - 0,1%
Судя по всему последних двух ждать уже не стоит. В моем случае бот делает около 13,8К запросов в месяц, а это около 18 запросов в час. Это сравнительно небольшое кол-во запросов и нагрузка на сервер от бота может не ощущаться. Хотя, судя по данным из логов, его аппетит может вырасти в несколько раз.
Все запросы бот делает по методу GET. Периодически запрашивает файл "/robots.txt" - что хорошо, но я не проверял слушает ли он рекомендации из него.
IP адреса бота
Бот Barkrowler от Exensa.com приходил с двух IP: 51.15.191.178 и 51.15.21.192. На оба IP в данный момент есть жалобы от вебмастеров:
"Новый" бот Barkrowler от Babbar.tech приходит с 4-х IP:
На эти IP гораздо больше жалоб от вебмастеров, чтобы узнать какие именно - перейдите по ссылке на IP адресе выше.
Выводы
- Barkrowler собирает информацию на всех сайтах для для машинного обучения и анализа текстовых данных;
- Не создает нагрузки на сервер (в моем случае) - 18 запросов в час;
- Запрашивает файл "/robots.txt";
- Некоторые вебмастера жалуются на повышенную активность;
- Судя по всему не может влиять на органический трафик сайта, поэтому я добавил его в список "Ненужные боты"