Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мой мужчина в разводе.
2. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
3. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
4. Живём с мужем в квартире, которая до брака принадлежала мужу.
5. Провела всё своё детство в деревне, где абсолютно нечего было делать.
6. Мой ребёнок путём суррогатного материнства появился.
7. Родила старшую дочку в 17 лет.
8. Моя свекровь в третий раз беременна.
9. Цветную капусту у нас обычно едят без большого восторга.
10. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
11. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
12. Все выбрасывают арбузные корки, а я замариновала одну банку.
13. Муж спросил, когда я сильнее всего пугалась в жизни.
14. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
15. Самые абсурдные законы мира, в которые сложно поверить.
16. Насколько огромны самые большие объекты в природе и космосе.
17. В Дубае существует район, который кажется ошибкой самой реальности.
18. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
19. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
20. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
21. Большинство крупнейших катастроф в мировой истории не были неизбежными.
22. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
23. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
24. План для женщин, которые одиноки и ищут себе мужчину!
25. На старости лет нашёл лайфхак для ловеласа.
26. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
27. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
28. Туапсе экологическая катастрофа хуже анапской грозит.
29. Гигантский астероид скоро рядом с землёй пройдёт.
30. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
31. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
32. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
33. Все лето держу окна в доме отрытыми и не боюсь комаров.
34. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
35. Джим Керри и теория клона: что произошло на самом деле?
36. Пятьcot лет тому нaзад.
37. "Tы понимаешь, что тебя уже нет?
38. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
39. Магия пандоры. Аватары и актёры, которые воплотили их образы.
40. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
41. Пирожки: забытый старый мамин рецепт.
42. Убийцы paccaды. Что нельзя добавлять в грунт?
43. Вот так выглядит архитектура, когда пространства почти не осталось.
44. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
45. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
46. 28 kулинарных tohкостей на вec 3 олота.
47. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
48. Лучший способ хранения чеснока.
49. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
50. Вот он - пример того, как из идеи рождается практичная и красивая вещь.