Nimbostratus-Bot
В логах сервера периодически встречаются записи о запросах на сервер от бота с именем "Nimbostratus-Bot". Лично я после анализа его поведения отнес его к "бесполезным" (бесполезным для моей специализации - SEO) ботам и добавил в список на странице «Ненужные боты», там же есть список и других ботов. Ниже я опишу что лично мне известно о данном боте.
Записи в логах
Кто использует в своей работе анализ логов (иначе как бы вы сюда пришли), те уже сталкивались с подобной записью:
209.17.96.226 [19/Feb/2019:04:24:18 +0300] "GET / HTTP/1.1" 200 39542 0.515 "-" "Mozilla/5.0 (compatible; Nimbostratus-Bot/v1.3.2; http://cloudsystemnetworks.com)"Поведение Nimbostratus-Bot
Рассмотрим актуальное на текущий день состояние, возьму логи за февраль 2019 года. Анализируя логи нескольких доменов я заметил, что от имени этого бота запросы поступают крайне редко - примерно около 6 раз в месяц с интервалами где-то 2-5 дней (поведение явно не агрессивное, такое кол-во запросов никак не скажется на производительности вашего сервера).
Замечу, что этот бот НЕ запрашивает файл /robotx.txt, чтобы хотя бы попытаться узнать можно ли ему вообще сканировать содержимое страниц сайта. Соответственно к "вежливым и воспитанным" ботам Nimbostratus-Bot не относится.
В каждом посещении Nimbostratus-Bot фиксируется обращение только к главной странице сайта, без передачи реферальных данных. Useragent всегда одинаков: Mozilla/5.0 (compatible; Nimbostratus-Bot/v1.3.2; http://cloudsystemnetworks.com). Как видно из логов бот любезно предоставил нам данные, где мы можем найти описание "миссии" и цели этого робота - указан сайт Cloud System Networks, на котором описано очень поверхностно его намерение.
Что известно о Nimbostratus-Bot
IP, с которых производятся запросы от имени этого бота, принадлежат одной сети (что обнадеживает немного):
- 209.17.96.202
- 209.17.96.210
- 209.17.96.218
- 209.17.96.226
- 209.17.97.114
- 209.17.97.42
Местоположение IP адресов бота United States (New York City), принадлежат интернет-провайдеру Cogent Communications (страница в Википедии). В базе "AbuseIPDB" НЕ очень лестно отзываются о запросах с данных IP адресов, репортуют о сканировании портов, брутус и т.п. Быть может это вовсе и не его (бота Nimbostratus-Bot) заслуга, а "соседи" лютуют.
Выводы
Как по мне, так поведение бота Nimbostratus-Bot безобидно. Других запросов с IP указанных выше на моей памяти не поступало, только от имени данного бота. Запросы к серверу он делает крайне редко, но и пользы от него я также не вижу, поэтому внес его в свой список "ненужных ботов".