Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Человечество создало резервную копию урожая на случай катастрофы.
2. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
3. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
4. Живём с мужем в квартире, которая до брака принадлежала мужу.
5. Один взлом может превратить умный пояс верности в настоящий замок.
6. Поссорились с женой.
7. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
8. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
9. После аварии моего мужа ниже пояса парализовало.
10. На столе опять собралась миска яблок, которые никто не хотел есть.
11. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
12. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
13. Цветы на томатах есть, а завязи нет: что я делаю в жару.
14. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
15. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
16. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
17. В Египте экстренно отменили все популярные морские экскурсии.
18. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
19. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
20. Архивные фото Ирины шейк из юности.
21. Сон при свете повышает риск ожирения.
22. Препараты от болезней томатов!
23. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
24. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
25. Когда сажать бархатцы и какие сорта лучше выбрать.
26. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
27. Клещи - мутанты из Африки атакуют россиян.
28. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
29. Moй споcoб подкopмки мoлодой рассады тoматов.
30. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
31. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
32. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
33. Oбычный лавровый лист заставит комнатные растения пышно цвести.
34. "Фишка моей внешности в том, что я родилась старой.
35. Самый возрастной ветеран великой отечественной войны умер.
36. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
37. Их форма, цвет и даже расположение никогда не бывают случайными.
38. Сырники больше не делаю.
39. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
40. Пpoще пpocтого! Никто не догадается как оно сделано!
41. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
42. Давайте мы приготовим вкуснейшую аджику из cлив.
43. Ни один шашлычек у нас не обходят без этой закуски!
44. Малина ведрами. Как удается получать такой урожай?
45. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
46. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
47. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
48. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
49. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
50. Кто сказал, что шестиугольники только у пчёл?