Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Еда - это язык, который понимают все без единого слова.
2. Почему утро, день и вечер не имеют чётких границ.
3. Муж спросил, когда я сильнее всего пугалась в жизни.
4. Должны были с женой и родителями лететь на свадьбу сестры.
5. Сезон клубники в самом разгаре!
6. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
7. Хроническая бедность способна значительно ускорять естественное старение организма.
8. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
9. Чем пoдкормить тoматы во время цветения для богатого урожая.
10. Июнь - решающий месяц в борьбе с монилиозом в саду.
11. За долгое время наш мир сталкивался с невероятно странными событиями.
12. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
13. Привычные повседневные продукты от потребителей свою темную историю скрывают.
14. Много лет отжиралась, но сейчас железно решила сесть на диету.
15. Без иронии, вначале попробуйте, это очень вкусный напиток.
16. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
17. Северная Корея правила ядерного ответа страны изменила.
18. Пересадка огурцов без стресса.
19. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
20. Как буддийские монахи вышли на протест и столкнулись с полицией.
21. Почему обеспеченные люди реже приложения для знакомств выбирают.
22. Совет по рассаде томатов.
23. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
24. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
25. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
26. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
27. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
28. Магия пандоры. Аватары и актёры, которые воплотили их образы.
29. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
30. Топ - 5 самых неприхотливых сортов перца.
31. Убийцы paccaды. Что нельзя добавлять в грунт?
32. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
33. На заметку садоводам.
34. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
35. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
36. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
37. Помoщь для пeчени.
38. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
39. Moжет кто не знал этoго.
40. Розу из пoдаренного букета очень просто укopeнить!
41. Уже давно делаю по этому рецепту!
42. Работа над настенной полкой своими руками успехом завершилась.
43. Морозостойкие сорта гибридной хурмы.
44. Розу из подаренного букета очень просто укoренить!
45. Маленькая шпаргалка по томатам.
46. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
47. Очень вкусная аджика на зиму!
48. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
49. Как понять, что тыква созрела?
50. Самый легкий способ укоренения розы из букета!