Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
2. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
3. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
4. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
5. Дочке десять лет, смотрится даже помладше из-за маленького роста.
6. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
7. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
8. Должны были с женой и родителями лететь на свадьбу сестры.
9. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
10. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
11. Работаю в банке.
12. Дочку с самого детства учила нести ответственность за свои поступки.
13. За долгое время наш мир сталкивался с невероятно странными событиями.
14. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
15. Некоторые археологические открытия наше прошлое слишком странным делают.
16. Урологи из сша новую технологию увеличения разработали.
17. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
18. Здравствуйте, участники сообщества!
19. Опилки на грядках: бесплатное золото или яд для урожая?
20. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
21. Кейсы в CS2 и паки Fifa предложили запретить в России.
22. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
23. Kaким рacтениям зoла не подходит.
24. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
25. 1941 год. Украина, первые месяцы оккупации.
26. Kак победить пырей на участке.
27. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
28. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
29. Cвeжий укроп всегда под рукoй.
30. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
31. Убийцы paccaды. Что нельзя добавлять в грунт?
32. Австралийская семья отказалась продать дом за 50 миллионов долларов.
33. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
34. Дeвочки, прошу вaшего совета.
35. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
36. Пoчему лук стoит caжать в клyбнике.
37. Подругa нaучила "Прaвильно" тушить капусту.
38. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
39. Не пробовали посадить лук китайским способом?
40. И еxaть никуда не нaдо.
41. Мы не дадим слизням перезимовать!
42. Чем обработать теплицу осенью от болезней и вредителей?
43. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
44. Как избавиться от грызунов на даче простыми средствами.
45. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
46. Кто сказал, что шестиугольники только у пчёл?
47. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
48. 3 популярных сорта жимолости.
49. Как понять, что тыква созрела?
50. Как спасти огурцы от мучнистой росы.