Роботы поисковых систем

По нижеперечисленным именам можно идентифицировать поисковых роботов в логах сервера. Стоит также помнить, что не редко злоумышленники подделывают "User-Agent" и вписывают туда идентичные поисковым роботам данные. Для проверки валидности поискового робота можете использовать инструмент "Валидатор ботов". Укажу только ссылки на официальные описания основных ботов, так как нет смысла переписывать официальное описание на русском языке.

Кому вопрос о существующих роботах наиболее актуален и интересен, есть большая база по всевозможным ботам "Udger". На этом сайте описаны известные им роботы с указанием IP адресов, Хостов и примеры строк в User-Agent. На текущей странице я указываю тех ботов, которых встречал в логах нескольких сайтов.

Google

Официальная страница с описанием: Поисковые роботы Google

Опубликованные

• Googlebot
• Googlebot-News
• Googlebot-Image
• Googlebot-Video
• Mediapartners-Google или Mediapartners
• AdsBot-Google
• AdsBot-Google-Mobile-Apps

Не опубликованные

• GoogleImageProxy
  Используется для кэширования изображений с сайта. Сканирует только изображения.
• Google Web Preview
  Пока точно не известно какую роль выполняет данный робот.
• googleweblight
  При просмотре сайта с медленных источников Интернета Google предлагает посмотреть упрощенную версию веб-страниц. Эта "приписка" как раз свидетельствует, что использовался подобный просмотр. Для примера можно использовать сервис http://googleweblight.com/?lite_url=URL_сайта.
• Google Page Speed Insights
  Посещение при анализе сайта с помощью сервиса "PageSpeed Insights" - https://developers.google.com/speed/pagespeed/insights/?hl=ru
• Google-Structured-Data-Testing-Tool
  (посещение при анализе сайта с помощью сервиса "Проверка структурированных данных" - https://search.google.com/structured-data/testing-tool?hl=ru)
• Google Favicon
  (Всегда делает запросы по методу GET. Пока точно не известно какую роль выполняет данный робот. Инициализируется запрос на сайт с подобной записью, если запросить URL https://www.google.com/s2/favicons?domain=site.ru)
• Google-Adwords-Instant
  (при использовании в Adwords типа быстрого просмотрщика объявлений. Необходимо проверить теорию!)
• Google_Analytics_Snippet_Validator
  (это посещение остается загадкой, сам лично я не нашел связей, в Интернете тоже "тишина")
• Google-Site-Verification
  (используется при проверке прав на владение сайтом, судя по всему нужно только для добавления сайта в Вэбмастер. Загружает страницы проверки и главную страницу)
• Google PP Default
  (это посещение остается загадкой, сам лично я не нашел связей, в Интернете тоже "тишина")
• Google-SearchByImage
  (Инициализируется посещение при выполнении поиска картинки через "Google Картинки")
• Google Search Console
  (пока неизвестно, выяснить!)

Яндекс

Официальная страница с описанием: Роботы Яндекса в логах сервера.

• YandexBot
• YandexAccessibilityBot
• YandexMobileBot
• YandexDirectDyn
• YandexScreenshotBot
• YandexImages
• YandexVideo
• YandexVideoParser
• YandexMedia
• YandexBlogs
• YandexFavicons
• YandexWebmaster
• YandexPagechecker
• YandexImageResizer
• YandexAdNet
• YandexDirect
• YaDirectFetcher
• YandexCalendar
• YandexSitelinks
• YandexMetrika
• YandexNews
• YandexNewslinks
• YandexCatalog
• YandexAntivirus
• YandexMarket
• YandexVertis
• YandexForDomain
• YandexSpravBot
• YandexSearchShop
• YandexMedianaBot
• YandexOntoDB
• YandexOntoDBAPI

Mail.ru

Официальная страница с описанием: Как отображается робот в логах сервера

• Mail.RU_Bot
• Mail.RU_Bot/Fast
• Mail.RU_Bot/Img
• Mail.RU_Bot/Robots

Bing

Официальная страница с описанием: Основные поисковые роботы Bing. Эта поисковая система предоставляет сервис «Проверить Bingbot», с помощью которого можно узнать принадлежит ли IP адрес бота поисковой системе Bing.

• Bingbot
• MSNBot
• MSNBot-Media
• AdIdxBot
• BingPreview

Yahoo

• Yahoo! Slurp

Petal Search

• PetalBot