Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
2. Родила дочь в свой день рождения.
3. Цветную капусту у нас обычно едят без большого восторга.
4. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
5. Должны были с женой и родителями лететь на свадьбу сестры.
6. Я не худею к морю - езжу в Турцию.
7. Живу с родителями.
8. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
9. Сделал тест днк на дочь - результат 0%.
10. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
11. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
12. Некоторые археологические открытия наше прошлое слишком странным делают.
13. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
14. Обычные прогулки мощной поддержкой для организма оказались.
15. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
16. Из параллельного импорта уберут западные ноутбуки.
17. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
18. В России запретят параллельный импорт компьютерной техники с 27 мая.
19. Повеяло летом. Клубника рекорд установила.
20. Когда сажать бархатцы и какие сорта лучше выбрать.
21. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
22. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
23. Легенды мирового рока украсили фасады домов в елизаветино.
24. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
25. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
26. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
27. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
28. Обычный лавровый лист заставит комнатные растения пышно цвести.
29. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
30. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
31. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
32. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
33. Яблоки очень уникальный продукт.
34. На заметку садоводам.
35. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
36. Затяжная магнитная буря уже началась и продлится до конца декабря.
37. Рецепт плюшек: Ингредиенты для опары:
38. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
39. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
40. И еxaть никуда не нaдо.
41. Kapтошка под соломой - мoй любимый спocoб пocaдки!
42. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
43. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
44. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
45. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
46. Секрет крупного озимого чеснока - простая подкормка при посадке!
47. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
48. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
49. Чем подкормить клубнику в августе крупного урожая.
50. Молодая кровь способна омолаживать тело - это доказали учёные.