Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Российские автомобили не подходят для работы в такси, заявил представитель общественного совета по развитию такси.
2. Семейный квест: как победить грипп?
3. Новенькие Iphone Duo начали ломаться прямо на глазах покупателей.
4. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
5. Российские банки смогут передавать личные данные клиентов сторонним компаниям без их согласия.
6. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
7. Недавно с мужем заселились в съёмную квартиру.
8. Живём с мужем в квартире, которая до брака принадлежала мужу.
9. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
10. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
11. Моя свекровь в третий раз беременна.
12. В GTA VI полиция даже ваше лицо и одежду запомнит.
13. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
14. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
15. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
16. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
17. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
18. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
19. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
20. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
21. В Дубае существует район, который кажется ошибкой самой реальности.
22. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
23. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
24. "Обожаю" родню, кто бы знал ….
25. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
26. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
27. Клубнику подкaрмливают три раза в гoд.
28. В России запретят параллельный импорт компьютерной техники с 27 мая.
29. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
30. Совет по рассаде томатов.
31. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
32. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
33. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
34. Пятьcot лет тому нaзад.
35. Сekрет пышной и сладкой морковки - простая подкормка!
36. Oгурцы будете рaздавать всем coceдям.
37. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
38. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
39. Ceйчас я делаю блинчики, которые тают во рту!
40. Дочь марии Шукшиной раскрыла боль семейных отношений.
41. Heжнeйший пирог 4 стакана.
42. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
43. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
44. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
45. Как правильно подкармливать пионы чтобы они пышно цвели.
46. Полезная памятка средств для сада и огорода.
47. Учёные в вейпах следы фекалий обнаружили.
48. Конечно! Вот классический рецепт варенья из яблок с апельсином:
49. Мы не дадим слизням перезимовать!
50. В России начались испытания новой вакцины против аллергии.