Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
2. Моя свекровь в третий раз беременна.
3. Кислую сливу, от которой за столом морщатся, я берегу для джема.
4. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
5. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
6. Почему утро, день и вечер не имеют чётких границ.
7. Мы с мужем очень сильно поругались, решили разводиться.
8. Депутат Горелкин слухи о блокировке Steam в России развеял.
9. В Дубае существует район, который кажется ошибкой самой реальности.
10. Мне 37, молодая и здоровая была, но за год постарела.
11. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
12. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
13. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
14. Некоторые древние технологии до сих пор превосходят современные достижения науки.
15. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
16. Без иронии, вначале попробуйте, это очень вкусный напиток.
17. Подорожник на участке: пора проверять почву!
18. В Москве предупредили о возможных ограничениях связи.
19. В России запретят параллельный импорт компьютерной техники с 27 мая.
20. Пятый рабочий день полностью неэффективным оказался.
21. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
22. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
23. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
24. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
25. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
26. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
27. Kaким растениям зола не подходит.
28. Обычный лавровый лист заставит комнатные растения пышно цвести.
29. Пpичины, пoчему уcыхает чеснок при хранении.
30. Сыплю под Смородину весной по две ложки.
31. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
32. Фигуру дочки Маликова бурно обсуждают в Сети.
33. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
34. Стильное оформление квартиры.
35. Австралийская семья отказалась продать дом за 50 миллионов долларов.
36. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
37. Кoгда усы клубники нужно обрезать?
38. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
39. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
40. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
41. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
42. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
43. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
44. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
45. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
46. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
47. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
48. Подготовка почвы к новому сезону: без перекопки, но с пользой.
49. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
50. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.