Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Малина отплодоносила - и рука так и тянется оставить всё до весны.
2. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
3. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
4. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
5. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
6. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
7. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
8. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
9. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
10. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
11. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
12. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
13. Плитка из ведерка от майонеза: дачный шик своими руками.
14. Пересадка огурцов без стресса.
15. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
16. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
17. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
18. Мой способ подкормки молодой рассады томатов.
19. В Госдуме предложили необычный способ провести время без интернета.
20. Чем подкормить рассаду перца для мощных корней.
21. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
22. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
23. Фунчоза с овощами.
24. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
25. Ceйчас я делаю блинчики, которые тают во рту!
26. Ha втopoй день ещё вкуснее.
27. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
28. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
29. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
30. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
31. Очищение сосудов головного мозга.
32. Дeвочки, прошу вaшего совета.
33. Чтo делает с оргahизмом всего одна хурма.
34. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
35. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
36. Это закуска на любом застолье на ура уходит!
37. Это лучшее, что я когда-либо ела!
38. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
39. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
40. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
41. В московских клиниках лечение на современном оборудовании нормой стало.
42. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
43. Создать овальные подносы можно легко, используя только свои руки.
44. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
45. Саженцы яблонь. Какие выбрать.
46. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
47. Почему засыхает малина в период созревания ягод?
48. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
49. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
50. Лишь в том случае, если клубника мельчает или ягод мало.