Валидатор ботов

IP

В этой колонке отображаются проверяемые IP адреса. Каждый из IP адресов можно проверить в глобальной системе «AbuseIPDB» (пока это самая "знающая" база по отзывам IP адресов, которую мне удалось встретить) перейдя по ссылке интересующего IP адреса. На многие адреса уже есть отзывы специалистов, скорее всего они развеят сомнения у Вас, блокировать IP или нет.

Хост

Тут ничего особенного, просто отображается Хост IP адреса, по которому будет проводиться проверка, принадлежит ли данный IP официально заявленным Хостам поисковых систем. В основном отображение Хоста помогает в дальнейшем находить несоответствия Маскировок.

Валидность

Если Хост совпадает с Хостами (которые официально заявлены поисковыми системами), то в колонке "Валидность" указывается какой поисковой системе принадлежит IP адрес. Если же в базе соответствий не найдены совпадения, в колонке "Валидность" будет пометка "Маскировка", означающая, что данный IP маскируется под поискового робота и просто "тырит" содержимое Вашего сайта. Что с ним делать решайте сами, часто маскируемые боты по одному и тому же IP появляются 1-2 раза и каждый раз блокировать их по IP не всегда бывает целесообразно, в общем смотрите по ситуации - анализируйте.

Про ботов "Mail.RU_Bot"

На сегодняшний день боты компании Mail.ru (как показывает мой личный опыт) некорректно идентифицируют себя при запросах на сайты. К примеру если у роботов Google и Яндекс хосты явно указывают на принадлежность к компании и DNS записи соответствуют их указаниям, то у Mail.ru это остается загадкой и как правило обратный DNS запрос может возвращать "DNS Record not found". По этой причине мой валидатор для некоторых ботов "Mail.RU_Bot" может возвращать "Маскировка".

Если при проверки в моем валидаторе выдает "Маскировка", а в логах сайта бот идентифицирует себя как "Mail.RU_Bot", то сделайте так называемый "обратный запрос DNS" (Reverse DNS Lookup) используя, например, сервис MXToolBox.