Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Психологи связь депрессии с состоянием близкого окружения изучили.
2. Семейный квест: как победить грипп?
3. Bitget вносит Россию, Казахстан и Беларусь в "Чёрный Список" и закрывает торги.
4. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
5. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
6. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
7. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
8. В 11 лет я сломала нос.
9. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
10. На столе опять собралась миска яблок, которые никто не хотел есть.
11. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
12. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
13. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
14. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
15. Собрали последнюю малину и забыли про кусты?
16. Серая гниль на розах - гадость мерзостная.
17. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
18. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
19. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
20. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
21. Сервис такси Bolt уволил всех кадровиков ради эффективности.
22. Пересадка огурцов без стресса.
23. Турецкий огуречный салат.
24. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
25. Пятый рабочий день полностью неэффективным оказался.
26. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
27. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
28. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
29. Мой способ подкормки молодой рассады томатов.
30. В Госдуме предложили необычный способ провести время без интернета.
31. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
32. Последний защитник брестской крепости.
33. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
34. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
35. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
36. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
37. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
38. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
39. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
40. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
41. Натали вспомнила мужа: "третья новогодняя ночь без него.
42. Австралийская семья отказалась продать дом за 50 миллионов долларов.
43. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
44. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
45. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
46. Лучший способ хранения чеснока.
47. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
48. Нашим любимым подписчикам, дачникам и садоводам на заметку.
49. Яркий акцент для сада.
50. Что делать, если листья огурцов стали "Мраморные"?