Оптимизация сайта для Человека
В списке есть боты «онлайн-анализаторов», китайских и немецких поисковиков и других народностей, возможно некоторые будут полезны Вам, смотрите внимательнее. Стоит также помнить, что блокируя доступ популярным онлайн-анализаторам Вы усложняете задачу «анализа конкурентов» (если конкуренты будут проверять Ваш сайт, то по сайту будет очень поверхостная информация, по которой можно сделать неверные выводы).
Кроме блокировки на уровне сервера Вы можете их «попытаться» заблокировать с помощью директив в файле robots.txt на запрет индексации роботом по имени. Стоит помнить, что далеко не все роботы «слушают» и «прислушиваются» к приказу Disallow: /, большинство просто тупо «жрут» все что видят даже не поинтересовавшись Вашими пожеланиями.
| Имя бота | Официальный сайт, сканируемые файлы |
|---|---|
| K7MLWCBot | https://www.k7computing.com/us/ |
| MakeMoneyTeamWorkBot | неизвестно |
| filibot | https://filibot.com/ |
| CensysInspect | https://about.censys.io/ |
| Siteliner | https://www.siteliner.com/bot |
| webtechbot | https://www.webtechsurvey.com/bot |
| MetaInspector | https://github.com/metainspector/metainspector |
| Domains Project | https://domainsproject.org/ HEAD |
| HubSpot Url validation check | неизвестно |
| seoscanners.net | неизвестно |
| SiteCheckerBotCrawler | неизвестно |
| node-fetch | https://github.com/node-fetch/node-fetch |
| Lawinsiderbot | https://www.lawinsider.com/about |
| Svetabot | http://svetabot.online/index.php |
| Mediumbot-MetaTagFetcher | неизвестно |
| OutclicksBot | неизвестно |
| CarParsingBot | неизвестно |
| AffiliateLabz | https://affiliatelabz.com/ |
| LetsearchBot | https://letsearch.ru/about |
| SeeGoneBot | неизвестно |
| tracemyfile | неизвестно |
| StatvooBot | неизвестно |
| Clarabot | http://www.clarabot.info/bots/ favicon.ico |
| BuiltWith | https://builtwith.com/biup |
| Re-re Studio | неизвестно |
| Konturbot | https://kontur.ru/ |
| KOCMOHABT | https://kozmonavt.tk/ |
| 7Siters | https://7ooo.ru/siters/ |
| YandexAntivirus | неизвестно |
| FatBoyKimComBot | неизвестно |
| Pizilla++ | неизвестно |
| CouponWCode Bot | неизвестно |
| SemanticScholarBot | https://www.semanticscholar.org/crawler |
| AwarioSmartBot | https://awario.com/bots.html |
| hubspot crawler | favicon.ico /img/ GET |
| adbeat_bot | https://www.adbeat.com/operation_policy |
| BLEXBot | http://webmeup-crawler.com/ |
| arquivo-web-crawler | https://arquivo.pt/ |
| SemrushBot-SA | https://ru.semrush.com/bot/ |
| MixnodeCache | неизвестно |
| SiteCheckerBot | https://sitechecker.pro/ HEAD |
| woorankreview | https://www.woorank.com/ HEAD |
| VelenPublicWebCrawler | https://velen.io/ |
| TagVisit | http://tag-visit.com/ |
| HMEOnlineHomeBot | неизвестно |
| AhrefsSiteAudit | https://ahrefs.com/robot/ |
| WhatCMSBot | неизвестно |
| DowntimeDetector | https://downforeveryoneorjustme.com/ |
| WebDataStats | https://webdatastats.com/policy.html |
| Nimbostratus-Bot | неизвестно |
| SE Ranking Gentle bot | https://seranking.ru/ |
| Fetchbot | https://github.com/PuerkitoBio/fetchbot |
| techleadzbot | неизвестно |
| JolokiaPwn | неизвестно |
| Streton.ru Analyze | https://streton.ru/analyze/ sitemap.xml |
| MegaIndexAuditBot | http://audit.megaindex.ru/ |
| sukibot_heritrix | http://suki.ling.helsinki.fi/eng/webmasters.html |
| CORS bot | неизвестно |
| MauiBot | неизвестно |
| VoluumDSP-content-bot | неизвестно |
| Sogou wap spider | http://www.sogou.com/docs/help/webmasters.htm#07 |
| ExtLinksBot | https://extlinks.com/Bot.html |
| TinEye-bot | https://www.tineye.com/crawler.html /img/ |
| HubSpot Webcrawler | https://knowledge.hubspot.com/articles/kcs_article |
| BUbiNG | http://law.di.unimi.it/BUbiNG.html |
| TopvisorBot | https://topvisor.ru/ |
| Yeti | https://help.naver.com/support/contents/contents.n |
| SpiderLing | https://nlp.fi.muni.cz/projects/biwec/ |
| Barkrowler | http://www.exensa.com/crawl/ |
| Runet-Research-Crawler | https://itrack.ru/research/cmsrate/ |
| NetpeakCheckerBot | https://netpeaksoftware.com/checker |
| Qwantify | https://qwantify.com/ favicon.ico |
| DnyzBot | неизвестно |
| a.pr-cy.ru | sitemap.xml favicon.ico /img/ HEAD |
| Embedly | http://docs.embed.ly/docs/faq favicon.ico /img/ |
| DaveCrawler | неизвестно |
| Prlog | http://prlog.ru/ |
| RookeeBot | неизвестно |
| online-webceo-bot | http://online.webceo.com sitemap.xml /img/ |
| NetpeakSpiderBot | https://netpeaksoftware.com/ru/spider |
| Twingly Recon | https://www.twingly.com/ |
| TipTop | http://feeltiptop.com/ |
| XoviBot | http://www.xovibot.net/ |
| Grobbot | неизвестно |
| struts-pwn | https://github.com/mazen160/struts-pwn |
| uCrawler | https://blog.ucoz.ru/upolicy |
| elefent | https://crawler.elefent.net/ |
| TOBBOT | http://tobbot.com/ |
| yacybot | http://yacy.net/bot.html robots.txt |
| ips-agent | https://www.verisign.com/ |
| uCrawlr | https://blog.ucoz.ru/upolicy |
| YisouSpider | неизвестно |
| proximic | https://www.comscore.com/proximic-spider |
| Leikibot | http://www.leiki.com/ |
| ResearchBot | неизвестно |
| Findxbot | http://www.findxbot.com/ |
| deepcrawl-ui | https://www.deepcrawl.com/bot/ |
| Xenu Link Sleuth | https://xenus-link-sleuth.en.softonic.com/ HEAD |
| deepcrawl.com | https://www.deepcrawl.com/bot/ HEAD |
| Digincore crawler bot | неизвестно |
| spiderman | неизвестно |
| GigablastOpenSource | https://github.com/gigablast/open-source-search-en |
| Linguee Bot | http://www.linguee.com/bot |
| FunWebProducts | неизвестно |
| IDG/RU | http://spaziodati.eu/en/ |
| WeCrawlForThePeace | неизвестно |
| TestiTest1 | /img/ |
| IDBot | http://www.id-search.xyz/bot.html |
| Stratagems Kumo | неизвестно |
| Jersey | https://blogs.oracle.com/PavelBucek/entry/jersey_c |
| zgrab | https://github.com/zmap/zgrab |
| SeopultContentAnalyzer | неизвестно |
| ltx71 | http://ltx71.com/ |
| DepositFiles/FileManager | https://filemanager.dfiles.ru/ru/filemanager.html favicon.ico /img/ GET |
| DomainCrawler | http://www.domaincrawler.com/ |
| evc-batch | неизвестно |
| EmbeddedWB | /img/ |
| AFB | http://allloadin.com favicon.ico |
| RukiCrawler | http://ruki.rezko.net |
| MailDBBot | https://maildb.io/#how-it-works |
| itroot | неизвестно |
| Laserlikebot | неизвестно |
| kolahsefid.com | http://kolahsefid.com/ |
| tSearchBot | http://tsearch.eu/bot |
| NetSeer crawler | http://www.netseer.com/crawler/ |
| seocharger-robot | неизвестно |
| Wget | http://help.ubuntu.ru/wiki/wget sitemap.xml favicon.ico HEAD |
| python-requests | robots.txt /img/ HEAD |
| aiohttp | https://aiohttp.readthedocs.io/en/stable/ |
| yoozBot | http://yooz.ir robots.txt |
| DataMiner | http://ramillion.com |
| woobot | https://www.woorank.com/ robots.txt sitemap.xml favicon.ico HEAD |
| bitlybot | robots.txt |
| Wappalyzer | https://github.com/AliasIO/Wappalyzer |
| GetIntent Crawler | http://getintent.com/bot.html robots.txt |
| Wotbox | http://www.wotbox.com/bot/ robots.txt |
| memoryBot | https://mignify.com/bot.html robots.txt |
| aiHitBot | https://www.aihitdata.com/about robots.txt |
| KomodiaBot | http://www.komodia.com/newwiki/index.php/URL_serve |
| netEstate NE Crawler | https://www.website-datenbank.de/ robots.txt |
| AnyEvent-HTTP | неизвестно |
| Gluten Free Crawler | http://glutenfreepleasure.com/ |
| Plukkie | http://www.botje.com/plukkie.htm robots.txt |
| iskanie | http://www.iskanie.com/ robots.txt |
| SiteExplorer | http://siteexplorer.info/Backlink-Checker-Spider/ robots.txt |
| DeuSu | https://deusu.de/robot.html robots.txt |
| ZoomBot | https://suite.seozoom.it/ |
| NetcraftSurveyAgent | неизвестно |
| Scrapy | https://scrapy.org/ |
| wmtips.com | http://www.wmtips.com/tools/ |
| LinkpadBot | неизвестно |
| MixrankBot | https://mixrank.com/about |
| glindahl-cocrawler | http://www.pbm.com/~lindahl/glindahl-cocrawler.htm robots.txt |
| MegaIndex.ru | https://ru.megaindex.com/crawler robots.txt |
| HybridBot | http://hybrid.ru/about |
| botrobin | http://smarter.codes/bot-robin/ robots.txt |
| Findcloserbot | http://crawler.findcloser.ru/ |
| CommonCrawler | неизвестно |
| MetaURI | HEAD |
| webscore | http://webscore.ru/ |
| GrapeshotCrawler | http://www.grapeshot.co.uk/crawler/ robots.txt |
| CheckMarkNetwork | http://www.checkmarknetwork.com/spider.html/ |
| BegunAdvertising | http://begun.ru/advertiser/technologies/indexer.ph robots.txt |
| RavenCrawler | robots.txt /img/ HEAD |
| SEOChat::Bot | неизвестно |
| hypestat | http://www.hypestat.com/bot robots.txt |
| WBSearchBot | http://www.warebay.com/bot.html |
| C-T bot | неизвестно |
| SemrushBot | http://www.semrush.com/bot.html robots.txt |
| coccocbot-web | http://help.coccoc.com/search-engine robots.txt |
| linkdexbot | https://www.linkdex.com/en-gb/about/bots/ robots.txt |
| ElaneRuBot | http://elane.ru/bot.html |
| Dataprovider | https://www.dataprovider.com/ robots.txt sitemap.xml |
| roboto | неизвестно |
| Exabot | http://www.exalead.com/search/webmasterguide#why-d robots.txt sitemap.xml |
| SMTBot | https://www.similartech.com/smtbot robots.txt |
| coccoc | http://help.coccoc.com/searchengine robots.txt |
| mfibot | http://www.mfisoft.ru/analyst/ |
| Cliqzbot | https://cliqz.com/cliqzbot robots.txt |
| SeznamBot | https://napoveda.seznam.cz/en/seznamcz-web-search/ robots.txt sitemap.xml |
| oBot | http://filterdb.iss.net/crawler/ robots.txt |
| TppRF | robots.txt sitemap.xml |
| Sogou web spider | http://www.sogou.com/docs/help/webmasters.htm#07 robots.txt |
| SurdotlyBot | http://sur.ly/bot.html robots.txt |
| Baiduspider | http://help.baidu.com/question?prod_en=master&clas robots.txt |
| Toweyabot | http://toweya.com/ /img/ |
| statdom.ru | http://statdom.ru/bot.html robots.txt favicon.ico |
| kazbtbot | http://www.kazbt.com/ robots.txt HEAD |
| GuzzleHttp | http://docs.guzzlephp.org/en/latest/ robots.txt sitemap.xml favicon.ico HEAD |
| AhrefsBot | https://ahrefs.com/robot robots.txt |