Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
2. Муж спросил, когда я сильнее всего пугалась в жизни.
3. МРТ Плода показывает мозг и глаза сквозь кости черепа.
4. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
5. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
6. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
7. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
8. Думаю, моя мама не человек.
9. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
10. План для женщин, которые одиноки и ищут себе мужчину!
11. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
12. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
13. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
14. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
15. В Москве предупредили о возможных ограничениях связи.
16. Цветы для ленивого сада: посадил и забыл на все лето.
17. Банановая кожура в БОРЬБЕ с муравьями.
18. В Госдуме предложили необычный способ провести время без интернета.
19. Чем подкормить рассаду перца для мощных корней.
20. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
21. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
22. Джим Керри и теория клона: что произошло на самом деле?
23. В Мавритании ходит один из самых впечатляющих поездов на планете.
24. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
25. Фигуру дочки Маликова бурно обсуждают в Сети.
26. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
27. Самый богатый бомж в мире!
28. На заметку садоводам.
29. Замечательный закусочный торт из нежной куриной грудки!
30. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
31. Oна есть у кaждого в саду … вeдьмина трава.
32. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
33. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
34. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
35. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
36. Формировать смородиновый куст можно как весной, так и осенью.
37. Работа над настенной полкой своими руками успехом завершилась.
38. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
39. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
40. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
41. Секс помогает улучшать память - к такому выводу пришли американские учёные.
42. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
43. Самоплoдные сорта грyш.
44. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
45. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
46. Самый легкий способ укоренения розы из букета!
47. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
48. Тля на смoродинe. 2 срeдства, которые вам помoгут!
49. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
50. Зола для огурцов: когда и как подкармливать правильно?