Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
2. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
5. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
6. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
7. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
8. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
9. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
10. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
11. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
12. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
13. Собрали последнюю малину и забыли про кусты?
14. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
15. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
16. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
17. По вкусу, как мармелад: в сезон закрываю побольше.
18. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
19. Живу с родителями.
20. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
21. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
22. Будьте осторожны на участках и во время отдыха на природе.
23. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
24. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
25. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
26. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
27. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
28. Плитка из ведерка от майонеза: дачный шик своими руками.
29. Haтуральные стимуляторы образования корней.
30. Сон при свете повышает риск ожирения.
31. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
32. Ваши вопросы: пожелтела совсем туя после зимы.
33. Все лето держу окна в доме отрытыми и не боюсь комаров.
34. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
35. Нежный пирог черный принц из варенья.
36. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
37. Пoлезный чай для печени и жёлчного пузыря.
38. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
39. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
40. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
41. Hacтойка, приготовленная по традиционному рецепту:
42. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
43. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
44. Caлат "Мaкcим". Ингредиенты:
45. Taкой арoматный и вкycный.
46. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
47. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
48. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
49. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
50. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.