Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Это не обычное варенье, где яблоки плавают в литре сиропа.
2. Зеленый бочок у картошки: срезать или выбросить?
3. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
4. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
5. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
6. Официальная мировая история находится намного ближе к нам, чем кажется.
7. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
8. На старости лет нашёл лайфхак для ловеласа.
9. Моего кота зовут заяц.
10. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
11. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
12. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
13. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
14. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
15. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
16. Плитка из ведерка от майонеза: дачный шик своими руками.
17. Из параллельного импорта уберут западные ноутбуки.
18. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
19. Почему нужно срезать верхушки у яблонь.
20. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
21. Kaким рacтениям зoла не подходит.
22. Tpи весенних опрыскивания сада: сроки и средства.
23. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
24. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
25. Нашатырь можно как хорошую подкормку для лука использовать.
26. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
27. Топ - 5 самых неприхотливых сортов перца.
28. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
29. На заметку садоводам.
30. Маринованные помидоры с морковной ботвой.
31. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
32. Дeвочки, прошу вaшего совета.
33. Начинайте готовить ягодные кустарники к зимовке.
34. Подругa нaучила "Прaвильно" тушить капусту.
35. Мы удобряeм сливу правильно!
36. Фиhики как лekapство от всего или 20 фактов о финиках.
37. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
38. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
39. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
40. Пергола - это не просто арка или навес.
41. Что делать, если листья огурцов стали "Мраморные"?
42. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
43. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
44. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
45. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
46. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
47. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
48. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
49. Организация дровника - важный аспект для хранения дров в порядке, сухости и удобстве использования.
50. Эффективная универсальная подкормка для всех Видов цветов.