Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Российские банки смогут передавать личные данные клиентов сторонним компаниям без их согласия.
2. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
3. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
4. На месторождении "Газпром Нефти" начал работу первый российский комплекс для обслуживания скважин.
5. Бабушка маму родила уже за 30, во втором браке.
6. Мой муж никогда не уходит с работы.
7. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
8. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
9. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
10. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
11. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
12. Яблок много - вроде радоваться надо.
13. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
14. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
15. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
16. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
17. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
18. История доказывает, что многие теории заговора со временем становятся фактами.
19. Июнь - решающий месяц в борьбе с монилиозом в саду.
20. В Японии открылся уникальный музей для всех ценителей женских ног.
21. Уволенных россиян официально призвали готовиться к целому году безработицы.
22. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
23. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
24. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
25. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
26. Три народных средства для крепкой рассады томатов.
27. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
28. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
29. Kак победить пырей на участке.
30. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
31. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
32. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
33. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
34. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
35. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
36. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
37. Яблоки очень уникальный продукт.
38. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
39. Пpoще пpocтого! Никто не догадается как оно сделано!
40. Чтo делает с оргahизмом всего одна хурма.
41. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
42. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
43. Какие лилии могут зимовать в грунте!
44. Как избавиться от грызунов на даче простыми средствами.
45. Казалось бы, простая рамка для фото.
46. Маленькая шпаргалка по томатам.
47. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
48. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
49. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
50. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.