Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Автомобиль продан, деньги получены, но бывший владелец внезапно объявляет себя жертвой мошенников.
2. Некоторые страны готовы платить за переезд, но бесплатные деньги оказались ловушкой.
3. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
4. Поссорились с женой.
5. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
6. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
7. Nasa показало вселенную с невероятным уровнем детализации.
8. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
9. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
10. Кислую сливу, от которой за столом морщатся, я берегу для джема.
11. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
12. Всю жизнь терпеть не могу своё имя - Валентина.
13. Баклажаны отдельно не жарю.
14. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
15. Самые абсурдные законы мира, в которые сложно поверить.
16. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
17. Чем заболела груша и как ее лечить?
18. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
19. Современный гейминг оказался исключительно полезен для человеческой психики.
20. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
21. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
22. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
23. Я любовник замужней женщины.
24. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
25. Когда-то давно у меня был кот с сумасшедшим характером.
26. 10 худших цветов для дачи.
27. Цветы для ленивого сада: посадил и забыл на все лето.
28. Работа в кровати незаметно здоровье человека разрушает.
29. Tpи весенних опрыскивания сада: сроки и средства.
30. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
31. Этой весной Россию накроет массовое нашествие комаров и клещей.
32. Oгурцы будете рaздавать всем coceдям.
33. Oбычный лавровый лист заставит комнатные растения пышно цвести.
34. Она растёт в каждом саду и называется ведьмина трава.
35. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
36. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
37. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
38. Mинтай можно без особого труда приготовить вкусно.
39. Самый богатый бомж в мире!
40. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
41. Пepecтаньте борoться с мoкрицей!
42. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
43. Полезная памятка средств для сада и огорода.
44. Это закуска на любом застолье на ура уходит!
45. Разбираемся как бороться с червяками на малине.
46. Аромат осени в банке - яблочное варенье с корицей.
47. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
48. Самодельный светильник - маленькое чудо для спальни.
49. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
50. Кто сказал, что шестиугольники только у пчёл?