Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
2. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
3. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
4. После аварии моего мужа ниже пояса парализовало.
5. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
6. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
7. Дочке десять лет, смотрится даже помладше из-за маленького роста.
8. Твоё тело работает 24 часа в сутки без твоего участия.
9. Депутат Горелкин слухи о блокировке Steam в России развеял.
10. "Обожаю" родню, кто бы знал ….
11. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
12. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
13. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
14. Как-то довелось быть свидетелем диалога двух дачниц.
15. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
16. У меня сложные отношения со свекрами.
17. Опилки на грядках: бесплатное золото или яд для урожая?
18. Важные правила подкормки, о которых нельзя забывать.
19. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
20. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
21. Когда сажать бархатцы и какие сорта лучше выбрать.
22. 10 растений с белыми цветами.
23. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
24. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
25. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
26. Пpoбовали caжать лук китaйским спocoбом?
27. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
28. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
29. Пирожки: забытый старый мамин рецепт.
30. Cвекла на дaче: что вaжно учесть в течение сезона.
31. Их форма, цвет и даже расположение никогда не бывают случайными.
32. Яблоки очень уникальный продукт.
33. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
34. На заметку садоводам.
35. Австралийская семья отказалась продать дом за 50 миллионов долларов.
36. Березовый деготь в помощь дачникy.
37. Не пробовали посадить лук китайским способом?
38. Многим из нас нравится замиокулькаса.
39. Это закуска на любом застолье на ура уходит!
40. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
41. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
42. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
43. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
44. Конечно! Вот классический рецепт варенья из яблок с апельсином:
45. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
46. Недорогое средство от пятнистостей на розах.
47. Малосольные помидорки по-армянски.
48. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
49. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
50. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.