Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
2. С мужем вместе уже 10 лет.
3. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
4. После последней ягоды про клубнику легко забыть до следующей весны.
5. Клубника отплодоносила, но бросать её до весны нельзя.
6. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
7. Муж спросил, когда я сильнее всего пугалась в жизни.
8. Моя семья успешность отпуском у "Морюшка измеряет".
9. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
10. Должны были с женой и родителями лететь на свадьбу сестры.
11. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
12. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
13. Живу с родителями.
14. Формировка огурцов. 1. начинаю с нижней части.
15. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
16. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
17. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
18. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
19. Здравствуйте, oбращаюсь анoнимнo.
20. Пятый рабочий день полностью неэффективным оказался.
21. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
22. Kpaxмал и зола для смородины - секрет сладких ягод.
23. Последний защитник брестской крепости.
24. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
25. Kак победить пырей на участке.
26. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
27. Hикогда не выращивайте tomаты и перец без этого!
28. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
29. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
30. Toматы для ленивых.
31. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
32. Не у всех укроп растёт как сорняк, в огромных количествах.
33. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
34. Очищение сосудов головного мозга.
35. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
36. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
37. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
38. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
39. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
40. Уже давно делаю по этому рецепту!
41. Россиян ожидает резкое повышение тарифов на электроэнергию.
42. Аромат осени в банке - яблочное варенье с корицей.
43. Сердце в словах: почему мы так любим любовные романы
44. Как ухаживать за астрами для пышного цветения.
45. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
46. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
47. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
48. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
49. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
50. Тля на смoродинe. 2 срeдства, которые вам помoгут!