IP сетей поисковых систем и агрегаторов

IP сетей поисковых систем и агрегаторов

Добрый день уважаемые читатели и гости блога, сегодня я хочу завести пост исключительно для себя, с последующим его пополнением. В виду того, что сейчас поисковую систему Google очень штормит и на свободе лютует алгоритм Фред, который беспощадно понижает многие сайты в поисковой выдаче, где ресурсы теряют до 90% трафика, очень остро встает вопрос оптимизации. Я начал так же производить аудит и работы по улучшению своих блогов, примером может служить pyatilistnik.org, так как когда блог только задумывался, я и слыхом не слыхал о словах: SEO, оптимизация и все такое. В данной заметке, я хочу вести для себя список ip адресов принадлежащих поисковым системам и другим агрегаторам новостей, делаю я это для того, чтобы банить или наоборот не забанить поисковых ботов.

Постановка задачи

Делаю я это для того, чтобы выявлять парсеров, которые создают кучу хлама из-за своей деятельности и уменьшении нагрузки на сервер. Согласитесь, что если у вас информативный сайт, то вам смысла нет давать доступ к вашему сайту поисковым ботам Amazon например, или Cloudflare, Inc.. Даже гугл сейчас имеет такие глюки, что при своем сканировании он находит ссылки, на страницы которых уже давно нет в реальности и они давно ушли из индекса, и когда я в логах начал разбираться, кто их находит, выяснилось, что это был он, а то я чуть его не забанил, вот тогда бы и начались проблемы с индексацией. Кстати как банить ip адреса и сети я вам рассказывал.

Списки сетей

  • Google - сети 66.249.64.0 - 66.249.95.255 CIDR: 66.249.64.0/19Google сети
  • Microsoft - сети 207.46.0.0 - 207.46.255.255, CIDR: 207.46.0.0/16

157.54.0.0 - 157.60.255.255, 157.54.0.0/15, 157.56.0.0/14, 157.60.0.0/16

Microsoft сети

  • Amazon - сети

Amazon сети

  • Cloudflare, Inc. - Сети 192.158.0.0 - 162.159.255.255 CIDR: 162.158.0.0/15

Cloudflare, Inc сети

  • Mail.Ru - Сети 94.100.176.0 - 94.100.183.255 CIDR: 94.100.176.0/21

Mail.Ru сети

  • Яндекс - Сети 5.255.255.0 - 5.255.255.255 CIDR: 5.255.255.0/24

Yandex сетиПо мере поступления я буду обновлять список.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *