IP сетей поисковых систем и агрегаторов

Добрый день уважаемые читатели и гости блога, сегодня я хочу завести пост исключительно для себя, с последующим его пополнением. В виду того, что сейчас поисковую систему Google очень штормит и на свободе лютует алгоритм Фред, который беспощадно понижает многие сайты в поисковой выдаче, где ресурсы теряют до 90% трафика, очень остро встает вопрос оптимизации. Я начал так же производить аудит и работы по улучшению своих блогов, примером может служить pyatilistnik.org, так как когда блог только задумывался, я и слыхом не слыхал о словах: SEO, оптимизация и все такое. В данной заметке, я хочу вести для себя список ip адресов принадлежащих поисковым системам и другим агрегаторам новостей, делаю я это для того, чтобы банить или наоборот не забанить поисковых ботов.

Постановка задачи

Делаю я это для того, чтобы выявлять парсеров, которые создают кучу хлама из-за своей деятельности и уменьшении нагрузки на сервер. Согласитесь, что если у вас информативный сайт, то вам смысла нет давать доступ к вашему сайту поисковым ботам Amazon например, или Cloudflare, Inc.. Даже гугл сейчас имеет такие глюки, что при своем сканировании он находит ссылки, на страницы которых уже давно нет в реальности и они давно ушли из индекса, и когда я в логах начал разбираться, кто их находит, выяснилось, что это был он, а то я чуть его не забанил, вот тогда бы и начались проблемы с индексацией. Кстати как банить ip адреса и сети я вам рассказывал.