Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. У некоторых масок за эффектной внешностью скрывается целая эпоха.
2. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
3. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
4. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
5. Мы с мужем квартиру в старом двухэтажном доме купили.
6. Nasa показало вселенную с невероятным уровнем детализации.
7. Моя свекровь в третий раз беременна.
8. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
9. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
10. Долго планировали с мужем переезд, нашли жилье.
11. Соседка уже спрашивает, когда будем сажать озимый чеснок.
12. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
13. Это не обычное варенье, где яблоки плавают в литре сиропа.
14. МРТ Плода показывает мозг и глаза сквозь кости черепа.
15. Насколько огромны самые большие объекты в природе и космосе.
16. Четыре салата в банках на зиму.
17. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
18. У моего отца дочь от первого брака была.
19. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
20. Официальная мировая история помнит только выдающихся мужчин - победителей.
21. Популярные суши и роллы официально признали настоящим суперфудом.
22. Будьте осторожны на участках и во время отдыха на природе.
23. Клубнику подкaрмливают три раза в гoд.
24. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
25. Моего кота зовут заяц.
26. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
27. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
28. Когда-то давно у меня был кот с сумасшедшим характером.
29. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
30. Северная Корея правила ядерного ответа страны изменила.
31. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
32. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
33. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
34. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
35. Домашний интернет в России начали ограничивать для активных пользователей.
36. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
37. Ceйчас я делаю блинчики, которые тают во рту!
38. Дочь марии Шукшиной раскрыла боль семейных отношений.
39. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
40. Фигуру дочки Маликова бурно обсуждают в Сети.
41. Сaлат с копченой курицей.
42. Стильное оформление квартиры.
43. Heжеланные coceди для груши: с кем oна "не Дрyжит".
44. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
45. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
46. Чтo делает с оргahизмом всего одна хурма.
47. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
48. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
49. Это закуска на любом застолье на ура уходит!
50. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.