WHITE-HAT-SEO-KLIMIN

Оптимизация сайта для Человека

ТОП 200 IP ботов Яндекса

  1. Главная
  2. ТОП 200 IP ботов Яндекса

Для благих нужд (хотя смотря в чьих руках) необходимо знать IP адреса поисковых роботов, например для идентификации подлинности поискового робота (основного индексирующего робота), что его не "подделали" и запросы на сервер действительно выполняет робот Яндекса. Проверить IP адрес на принадлежность к поисковой системе можно в сервисе «Валидатор ботов».

Основываясь на данных логов сервера одного из сайтов я собрал IP адреса бота YandexBot за 19 месяцев. Период актуальности: с 01.01.2019 по 31.07.2020. В таблице не будет указываться кол-во запросов к серверу, так как для всех сайтов оно индивидуально и на мой взгляд в данном случае больше полезна оценка популярности одного по отношению к другому. Пояснение к колонкам:

Для наглядности в таблице выделен ТОП 10 самых часто используемых ботов Яндекса.

 

ТОП IP адресов YandexBot

ТОПIP YandexBotДоля активности
1141.8.132.304,69%
2178.154.200.244,07%
3141.8.142.63,63%
495.108.213.223,55%
5178.154.244.413,43%
6141.8.142.1373,16%
737.9.113.183,14%
8141.8.183.142,89%
9141.8.142.1822,70%
10141.8.142.1112,32%
1193.158.166.52,19%
12141.8.183.412,15%
13178.154.200.12,02%
14141.8.188.612,02%
15178.154.200.1301,94%
165.45.207.601,86%
17178.154.200.101,63%
18141.8.188.671,60%
19141.8.183.81,59%
20178.154.200.2451,57%
21141.8.188.411,52%
22141.8.142.1301,52%
23213.180.203.1181,47%
24213.180.203.781,41%
25178.154.171.1561,41%
2693.158.166.111,35%
27178.154.200.591,30%
28178.154.200.601,23%
29141.8.189.21,19%
3087.250.224.921,10%
3195.108.213.601,04%
32178.154.200.81,04%
33213.180.203.661,03%
34178.154.200.200,94%
35178.154.200.1080,90%
36178.154.200.1460,83%
37141.8.142.1060,78%
38178.154.200.560,72%
3937.9.113.730,70%
40213.180.203.890,69%
41213.180.203.1930,66%
42178.154.200.2000,63%
435.255.253.1030,59%
44178.154.200.2380,58%
45178.154.200.1950,57%
46141.8.142.2120,55%
475.45.207.700,54%
48213.180.203.1010,52%
49141.8.132.200,52%
505.255.253.700,49%
51178.154.200.750,49%
5287.250.224.670,47%
53178.154.200.620,46%
54213.180.203.600,44%
55213.180.203.610,44%
56213.180.203.60,40%
575.45.207.1030,38%
58178.154.200.580,38%
59178.154.200.2170,37%
605.45.207.160,37%
61178.154.200.450,36%
62213.180.203.390,34%
6395.108.181.430,33%
64141.8.142.1620,33%
65213.180.203.720,32%
66178.154.200.2160,29%
67178.154.200.1160,29%
68178.154.200.300,29%
69178.154.200.860,28%
70213.180.203.440,26%
71213.180.203.990,26%
72213.180.203.870,25%
73213.180.203.1480,23%
7487.250.224.2140,22%
75213.180.203.1830,22%
76213.180.203.980,20%
775.45.207.1270,19%
7895.108.181.1080,18%
79178.154.200.1060,18%
80178.154.200.1720,18%
81178.154.200.2080,18%
8295.108.181.640,17%
835.45.207.840,17%
84213.180.203.620,16%
85178.154.200.530,16%
86213.180.203.310,15%
87213.180.203.680,14%
88213.180.203.760,14%
89178.154.200.20,14%
90178.154.200.2030,14%
91178.154.200.260,13%
92213.180.203.1100,12%
9387.250.224.2120,12%
94213.180.203.1890,12%
95213.180.203.970,12%
96141.8.142.440,11%
97178.154.200.1090,10%
98213.180.203.1760,10%
99213.180.203.570,10%
100213.180.203.1920,10%
101178.154.200.990,10%
102178.154.200.1600,10%
103178.154.200.1140,09%
104178.154.200.870,09%
105178.154.200.1660,09%
106178.154.200.960,09%
107178.154.200.1810,08%
108213.180.203.1560,08%
109141.8.142.90,08%
110213.180.203.430,08%
111213.180.203.1740,08%
112178.154.200.1850,07%
113141.8.189.30,07%
114213.180.203.1420,07%
115178.154.200.900,07%
116213.180.203.380,06%
117178.154.171.1010,06%
118213.180.203.820,06%
1195.45.207.830,06%
120178.154.200.2330,06%
12195.108.213.590,06%
122178.154.200.570,06%
123178.154.200.840,06%
124178.154.200.1440,06%
125213.180.203.790,06%
126213.180.203.940,06%
127213.180.203.2000,06%
12837.9.113.1410,06%
12993.158.166.170,06%
130213.180.203.1210,06%
131178.154.200.250,06%
132213.180.203.300,06%
1335.45.207.660,06%
134213.180.203.1510,06%
13587.250.224.740,06%
136213.180.203.1220,06%
13737.9.113.660,05%
138178.154.200.790,05%
139178.154.200.40,05%
140213.180.203.290,05%
141178.154.200.2460,05%
142178.154.200.670,05%
14337.9.113.850,05%
144213.180.203.1710,05%
145213.180.203.1460,05%
146213.180.203.1340,05%
147178.154.171.370,05%
148141.8.183.2120,05%
149178.154.200.2010,05%
150141.8.183.2130,05%
151213.180.203.1840,05%
15287.250.224.410,05%
153213.180.203.400,05%
154178.154.200.1900,04%
155178.154.200.410,04%
156213.180.203.220,04%
157178.154.171.270,04%
158213.180.203.1370,04%
159141.8.142.2140,04%
160213.180.203.450,04%
161178.154.200.1180,04%
162213.180.203.1670,04%
16393.158.166.100,04%
16437.9.113.1000,04%
165213.180.203.360,04%
166178.154.244.670,04%
167213.180.203.900,04%
168141.8.183.2140,04%
169178.154.200.1530,04%
170213.180.203.1450,04%
171213.180.203.110,04%
172178.154.200.1880,04%
173141.8.142.250,04%
174213.180.203.1170,04%
175178.154.200.70,04%
17695.108.213.200,04%
177141.8.132.180,04%
17837.9.113.770,04%
179178.154.200.770,04%
18037.9.113.810,04%
181178.154.200.1590,04%
182141.8.142.50,03%
183213.180.203.1400,03%
184141.8.142.80,03%
185178.154.200.1170,03%
186213.180.203.1000,03%
187178.154.200.2260,03%
188141.8.142.1800,03%
189213.180.203.1240,03%
190213.180.203.1020,03%
19187.250.224.380,03%
192178.154.200.360,03%
193178.154.200.1580,03%
194178.154.200.280,03%
195141.8.183.160,03%
196178.154.200.650,03%
197213.180.203.1080,03%
198178.154.171.510,03%
199178.154.200.470,03%
200178.154.200.160,03%

В таблице указана доля активности запросов именно с User-Agent "YandexBot", но с этих же IP приходили и другие.

 

Разные User-Agent с одного IP

С этих же IP адресов могут поступать запросы от разных ботов, с разными User-Agent:

User-AgentЧастота вхождения
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)94,55%
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)2,76%
Mozilla/5.0 (compatible; YaDirectFetcher/1.0; +http://yandex.com/bots)1,72%
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.1060,430%
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)0,326%
Mozilla/5.0 (compatible; YandexDirectDyn/1.0; +http://yandex.com/bots)0,101%
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)0,078%
Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots)0,019%
Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots)0,010%
Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/536.5 (KHTML, like Gecko) YaBrowser/1.0.1084.5402 Chrome/19.0.1084.5409 Safari/536.50,002%
Mozilla/5.0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots)0,0005%
Mozilla/5.0 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)0,0003%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.360,0002%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.360,000103%
Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:37.0) Gecko/20100101 Firefox/37.00,000056%
Mozilla/5.0 (Linux; Android 6.0.1; SM-G570F Build/MMB29K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)0,000053%
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36 (compatible; YandexMetrika/3.0; +http://yandex.com/bots)0,000050%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.360,000048%
Mozilla/5.0 (compatible; YandexMetrika/4.0; +http://yandex.com/bots)0,000036%
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)0,000031%
Mozilla/5.0 (compatible; YandexRCA/1.0; +http://yandex.com/bots)0,000028%
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)0,000013%
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.360,0000094%
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)0,0000079%
Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots)0,0000025%
Mozilla/5.0 (compatible; YandexPagechecker/2.0; +http://yandex.com/bots)0,0000010%
Mozilla/5.0 (compatible; YandexMarket/2.0; +http://yandex.com/bots)0,0000005%


База данных
Ненужные ботыРоботы поисковых системIP адреса для блокировкиРеферальный спам, доменыПоиск популярных уязвимостей, URLПарсеры для блокировки
Инструменты
Валидатор ботовКонструктор поисковых запросов ЯндексОпределение главного зеркала сайта
База знаний
BarkrowlerPetalBotНа что указывает [modtime] в Яндекс XMLExabotDomainCrawlerNimbostratus-BotО чем говорят логи. Краулинговый бюджетСправочник по сервису WebPageTestПоисковые операторы Google (нюансы)
Рейтинги
ТОП 200 IP ботов ЯндексаТОП 10 заблокированных URLТОП 10 заблокированных рефераловТОП 10 заблокированных UserAgentТОП "слепых" провайдеровТОП 5 IP "роботов-старателей" ЯндексТОП 10 IP "роботов-старателей" Google
Проверено на себе, Климин Виктор