Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Человечество создало резервную копию урожая на случай катастрофы.
2. Российские банки смогут передавать личные данные клиентов сторонним компаниям без их согласия.
3. На месторождении "Газпром Нефти" начал работу первый российский комплекс для обслуживания скважин.
4. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
5. Мой муж никогда не уходит с работы.
6. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
7. Удивительные товарищи всё-таки - родственнички.
8. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
9. Цветную капусту у нас обычно едят без большого восторга.
10. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
11. Выкопать свёклу - половина дела.
12. Всю жизнь терпеть не могу своё имя - Валентина.
13. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
14. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
15. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
16. Чем заболела груша и как ее лечить?
17. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
18. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
19. В нашей семье все склонны к полноте.
20. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
21. Мастурбация у птиц абсолютно естественным поведением оказалась.
22. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
23. Завязей на томатах будет море, а фитофтора обойдёт стороной.
24. Из параллельного импорта уберут западные ноутбуки.
25. Повеяло летом. Клубника рекорд установила.
26. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
27. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
28. Картофельные ростки: золотой актив, который вы зря выбрасывали!
29. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
30. Toлько не забудьте peцепт!
31. Ceкрет богатого урожая тoматов.
32. В Мавритании ходит один из самых впечатляющих поездов на планете.
33. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
34. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
35. Toматы для ленивых.
36. Не у всех укроп растёт как сорняк, в огромных количествах.
37. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
38. Heжеланные coceди для груши: с кем oна "не Дрyжит".
39. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
40. Рецепт плюшек: Ингредиенты для опары:
41. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
42. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
43. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
44. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
45. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
46. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
47. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
48. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
49. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
50. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.