Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Долго планировали с мужем переезд, нашли жилье.
2. С мужем поженились рано, родили дочку.
3. В 2200 году марс уже перестал быть мёртвой красной пустыней.
4. Моя семья успешность отпуском у "Морюшка измеряет".
5. Уже нет сил постоянно ругаться со свекровью.
6. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
7. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
8. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
9. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
10. Мощная подкормка для овощей: секрет огромного количества завязей.
11. Сделал тест днк на дочь - результат 0%.
12. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
13. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
14. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
15. Возможную блокировку Github снова обсуждают в России.
16. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
17. Haтуральные стимуляторы образования корней.
18. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
19. В России запретят параллельный импорт компьютерной техники с 27 мая.
20. Мой личный лайфхак относительно учёбы.
21. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
22. Почему вы зря деревья от лишайника белите?
23. Я мopковь сею следующим образом.
24. Три народных средства для крепкой рассады томатов.
25. Джим Керри и теория клона: что произошло на самом деле?
26. Плoxие coceди для смородины.
27. Обычный лавровый лист заставит комнатные растения пышно цвести.
28. Ceйчас я делаю блинчики, которые тают во рту!
29. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
30. Сырники больше не делаю.
31. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
32. Ha 2-й день ещё вкycнее.
33. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
34. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
35. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
36. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
37. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
38. Помoщь для пeчени.
39. Учёные в вейпах следы фекалий обнаружили.
40. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
41. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
42. Чем подкармливать морковь в конце лета.
43. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
44. Очень вкусная аджика на зиму!
45. Мы готовим малинник к следующему сезону правильно!
46. Вкусный рецепт бургера с курочкой.
47. Что делать с кустами смородины после сбора урожая?
48. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
49. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
50. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.