WHITE-HAT-SEO-KLIMIN

Оптимизация сайта для Человека

Ненужные боты

В списке есть боты «онлайн-анализаторов», китайских и немецких поисковиков и других народностей, возможно некоторые будут полезны Вам, смотрите внимательнее. Стоит также помнить, что блокируя доступ популярным онлайн-анализаторам Вы усложняете задачу «анализа конкурентов» (если конкуренты будут проверять Ваш сайт, то по сайту будет очень поверхостная информация, по которой можно сделать неверные выводы).

Кроме блокировки на уровне сервера Вы можете их «попытаться» заблокировать с помощью директив в файле robots.txt на запрет индексации роботом по имени. Стоит помнить, что далеко не все роботы «слушают» и «прислушиваются» к приказу Disallow: /, большинство просто тупо «жрут» все что видят даже не поинтересовавшись Вашими пожеланиями.

"Необязательные" боты и их поведение

Не забывайте про быстрый поиск
Имя ботаОфициальный сайт, сканируемые файлы
FatBoyKimComBotнеизвестно
Pizilla++неизвестно
CouponWCode Botнеизвестно
SemanticScholarBot
AwarioSmartBot
hubspot crawler favicon.ico /img/ GET
adbeat_bot
BLEXBot
arquivo-web-crawler
SemrushBot-SA
MixnodeCacheнеизвестно
SiteCheckerBot
HEAD
woorankreview
HEAD
VelenPublicWebCrawler
TagVisit
HMEOnlineHomeBotнеизвестно
AhrefsSiteAudit
WhatCMSBotнеизвестно
DowntimeDetector
WebDataStats
Nimbostratus-Botнеизвестно
SE Ranking Gentle bot
Fetchbot
techleadzbotнеизвестно
JolokiaPwnнеизвестно
Streton.ru Analyze
sitemap.xml
MegaIndexAuditBot
sukibot_heritrix
CORS botнеизвестно
MauiBotнеизвестно
VoluumDSP-content-botнеизвестно
Sogou wap spider
ExtLinksBot
TinEye-bot
/img/
HubSpot Webcrawler
BUbiNG
TopvisorBot
Yeti
SpiderLing
Barkrowler
Runet-Research-Crawler
NetpeakCheckerBot
Qwantify
favicon.ico
DnyzBotнеизвестно
a.pr-cy.ru sitemap.xml favicon.ico /img/ HEAD
Embedly
favicon.ico /img/
DaveCrawlerнеизвестно
Prlog
RookeeBotнеизвестно
online-webceo-bot
sitemap.xml /img/
NetpeakSpiderBot
Twingly Recon
TipTop
XoviBot
Grobbotнеизвестно
struts-pwn
uCrawler
elefent
TOBBOT
yacybot
robots.txt
ips-agent
uCrawlr
YisouSpiderнеизвестно
proximic
Leikibot
ResearchBotнеизвестно
Findxbot
deepcrawl-ui
Xenu Link Sleuth
HEAD
deepcrawl.com
HEAD
Digincore crawler botнеизвестно
spidermanнеизвестно
GigablastOpenSource
Linguee Bot
FunWebProductsнеизвестно
IDG/RU
WeCrawlForThePeaceнеизвестно
TestiTest1 /img/
IDBot
Stratagems Kumoнеизвестно
Jersey
zgrab
SeopultContentAnalyzerнеизвестно
ltx71
DepositFiles/FileManager
favicon.ico /img/ GET
DomainCrawler
evc-batchнеизвестно
EmbeddedWB /img/
AFB
favicon.ico
RukiCrawler
MailDBBot
itrootнеизвестно
Laserlikebotнеизвестно
kolahsefid.com
tSearchBot
NetSeer crawler
seocharger-robotнеизвестно
Wget
sitemap.xml favicon.ico HEAD
python-requests robots.txt /img/ HEAD
aiohttp
yoozBot
robots.txt
DataMiner
woobot
robots.txt sitemap.xml favicon.ico HEAD
bitlybot robots.txt
Wappalyzer
GetIntent Crawler
robots.txt
Wotbox
robots.txt
memoryBot
robots.txt
aiHitBot
robots.txt
KomodiaBot
netEstate NE Crawler
robots.txt
AnyEvent-HTTPнеизвестно
Gluten Free Crawler
Plukkie
robots.txt
iskanie
robots.txt
SiteExplorer
robots.txt
DeuSu
robots.txt
ZoomBot
NetcraftSurveyAgentнеизвестно
Scrapy
wmtips.com
LinkpadBotнеизвестно
MixrankBot
glindahl-cocrawler
robots.txt
MegaIndex.ru
robots.txt
HybridBot
botrobin
robots.txt
Findcloserbot
CommonCrawlerнеизвестно
MetaURI HEAD
webscore
GrapeshotCrawler
robots.txt
CheckMarkNetwork
BegunAdvertising
robots.txt
RavenCrawler robots.txt /img/ HEAD
SEOChat::Botнеизвестно
hypestat
robots.txt
WBSearchBot
C-T botнеизвестно
SemrushBot
robots.txt
coccocbot-web
robots.txt
linkdexbot
robots.txt
ElaneRuBot
Dataprovider
robots.txt sitemap.xml
robotoнеизвестно
Exabot
robots.txt sitemap.xml
SMTBot
robots.txt
coccoc
robots.txt
mfibot
Cliqzbot
robots.txt
SeznamBot
robots.txt sitemap.xml
oBot
robots.txt
TppRF robots.txt sitemap.xml
Sogou web spider
robots.txt
SurdotlyBot
robots.txt
Baiduspider
robots.txt
Toweyabot
/img/
statdom.ru
robots.txt favicon.ico
kazbtbot
robots.txt HEAD
GuzzleHttp
robots.txt sitemap.xml favicon.ico HEAD
AhrefsBot
robots.txt
Примечание

Рекомендую выполнять блокировку на уровне NGINX. Я предпочел возвращать им 403 код, а Вы сами смотрите "куда их посылать".

Для удобства использования списка предоставленных мною ботов нажмите на кнопку и их можно скопировать списком для дальнейших манипуляций.
В группе ВКонтакте публикуются новости для SEO специалистов