Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Лоис гибсон превратила карандаш в инструмент поимки преступников.
2. Цветную капусту у нас обычно едят без большого восторга.
3. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
4. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
5. Открыла вчера тыкву, а она оказалась огромной.
6. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
7. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
8. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
9. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
10. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
11. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
12. Работаю в банке.
13. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
14. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
15. История доказывает, что многие теории заговора со временем становятся фактами.
16. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
17. У меня сложные отношения со свекрами.
18. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
19. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
20. Я не люблю формулировку "мы Встречаемся".
21. Почему нужно срезать верхушки у яблонь.
22. Первая обработка сада от паразитов весной: полный гайд.
23. Ваши вопросы: пожелтела совсем туя после зимы.
24. Мне 19 лет.
25. Топ - 10 теневыносливых растений для вашего сада.
26. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
27. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
28. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
29. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
30. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
31. Hикогда не выращивайте tomаты и перец без этого!
32. Магия пандоры. Аватары и актёры, которые воплотили их образы.
33. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
34. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
35. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
36. Замиокулькас. Это следует сделать сразу после покупки.
37. Моя соседка никак не могла продать дорогущий антикварный комод.
38. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
39. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
40. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
41. Аромат осени в банке - яблочное варенье с корицей.
42. Работа над настенной полкой своими руками успехом завершилась.
43. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
44. Морозостойкие сорта гибридной хурмы.
45. Клубника на подоконнике - аромат лета круглый год!
46. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
47. Нашим любимым подписчикам, дачникам и садоводам на заметку.
48. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
49. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
50. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.