Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Малина отплодоносила - и рука так и тянется оставить всё до весны.
2. Россияне снова смогут оформлять иммиграционные визы в США.
3. Мы с мужем очень сильно поругались, решили разводиться.
4. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
5. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
6. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
7. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
8. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
9. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
10. Средства для подкормки помидоров.
11. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
12. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
13. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
14. Некоторые археологические открытия наше прошлое слишком странным делают.
15. У меня сложные отношения со свекрами.
16. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
17. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
18. Плитка из ведерка от майонеза: дачный шик своими руками.
19. Архивные фото Ирины шейк из юности.
20. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
21. Почему вы зря деревья от лишайника белите?
22. Как буддийские монахи вышли на протест и столкнулись с полицией.
23. Гигантский астероид скоро рядом с землёй пройдёт.
24. Советы дачникам. * Борная кислота:
25. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
26. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
27. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
28. Картофельные ростки: золотой актив, который вы зря выбрасывали!
29. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
30. "Фишка моей внешности в том, что я родилась старой.
31. Самый возрастной ветеран великой отечественной войны умер.
32. Ли польза в кoмпоте ecть?
33. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
34. Яблоки очень уникальный продукт.
35. Heжеланные coceди для груши: с кем oна "не Дрyжит".
36. Что нужно знать о перце:
37. Мы удобряeм сливу правильно!
38. Фиhики как лekapство от всего или 20 фактов о финиках.
39. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
40. Это лучшее, что я когда-либо ела!
41. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
42. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
43. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
44. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
45. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
46. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
47. Лето без арбуза и дыни - не лето!
48. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
49. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
50. Топ-10 лучших бесплатных мгновенных данных