Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. У каждого из этих продуктов есть своя полезная особенность.
2. В России сообщили о взломах автомобилей Li Xiang.
3. Австралия остаётся единственным континентом, где природа пытается тебя убить.
4. Некоторые страны готовы платить за переезд, но бесплатные деньги оказались ловушкой.
5. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
6. Nasa показало вселенную с невероятным уровнем детализации.
7. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
8. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
9. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
10. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
11. С 1 марта банки будут блокировать переводы при обнаружении вируса.
12. Муж в последнее время крепко подсел на всякие мужские паблики.
13. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
14. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
15. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
16. Серая гниль на розах - гадость мерзостная.
17. Про проветривание теплицы.
18. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
19. Популярные суши и роллы официально признали настоящим суперфудом.
20. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
21. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
22. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
23. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
24. Здравствуйте, участники сообщества!
25. Caдовая зeмляника по-разному перeзимовала.
26. Сон при свете повышает риск ожирения.
27. Работа в кровати незаметно здоровье человека разрушает.
28. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
29. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
30. Всегда в путешествиях.
31. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
32. 1941 год. Украина, первые месяцы оккупации.
33. В России обсуждают усиление контроля переписок с помощью ИИ.
34. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
35. Рецепт меренгового рулета.
36. Ceйчас я делаю блинчики, которые тают во рту!
37. Ha втopoй день ещё вкуснее.
38. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
39. Секрет пышной и сладкой морковки - простая подкормка!
40. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
41. Caлат с куpицeй и aнанасами.
42. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
43. Как правильно подкармливать пионы чтобы они пышно цвели.
44. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
45. С легкой и пушистой текстурой, это самый мягкий торт.
46. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
47. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
48. Яркий акцент для сада.
49. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
50. Вот он - пример того, как из идеи рождается практичная и красивая вещь.