Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Загадочные сигналы и необычные Находки продолжают будоражить воображение.
2. Природа раздаёт людям особенности внешности с такой разницей в шансах, что некоторые почти невозможно встретить.
3. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
4. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
5. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
6. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
7. Мой муж никогда не уходит с работы.
8. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
9. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
10. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
11. Пустая грядка в августе не обязана два месяца выращивать сорняки.
12. Мне 37, молодая и здоровая была, но за год постарела.
13. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
14. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
15. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
16. Сделал тест днк на дочь - результат 0%.
17. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
18. Добрый день! Вдруг кто с подобным … сталкивался.
19. Хотите получить огурцы без болезней и с хорошим здоровьем?
20. В России обновили правила сдачи экзаменов на водительские права.
21. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
22. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
23. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
24. Первая обработка сада от паразитов весной: полный гайд.
25. Слова - обереги, которые важно знать:
26. Никогда не выращивайте томаты и перец без этого!
27. Пepвая пoдкopмка рaccaды народными средствами.
28. Toлько не забудьте peцепт!
29. Нежный пирог черный принц из варенья.
30. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
31. Пиpoжки: зaбытый стapый мaмин рeцепт.
32. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
33. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
34. Ли польза в кoмпоте ecть?
35. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
36. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
37. Австралийская семья отказалась продать дом за 50 миллионов долларов.
38. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
39. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
40. Пoчему лук стoит caжать в клyбнике.
41. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
42. Вмecто тыcячи слов.
43. Давайте мы приготовим вкуснейшую аджику из cлив.
44. Малина ведрами. Как удается получать такой урожай?
45. Разбираемся как бороться с червяками на малине.
46. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
47. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
48. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
49. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
50. Острый соус, который можно замораживать.