Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. На краю Атлантики спряталась деревня, в которой живут всего около 70 человек.
2. Человечество создало резервную копию урожая на случай катастрофы.
3. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
4. Мой ребёнок путём суррогатного материнства появился.
5. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
6. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
7. С мужем вместе уже 10 лет.
8. На столе опять собралась миска яблок, которые никто не хотел есть.
9. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
10. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
11. Зеленый бочок у картошки: срезать или выбросить?
12. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
13. Сезон клубники в самом разгаре!
14. Хроническая бедность способна значительно ускорять естественное старение организма.
15. Будьте осторожны на участках и во время отдыха на природе.
16. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
17. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
18. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
19. Малина в июне в правильной подкормке нуждается.
20. Из параллельного импорта уберут западные ноутбуки.
21. Моя мама очень долго болью в коленях мучилась.
22. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
23. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
24. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
25. Почему обеспеченные люди реже приложения для знакомств выбирают.
26. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
27. Клещи - мутанты из Африки атакуют россиян.
28. Горсть миндаля в день может заметно улучшить состояние кожи.
29. Чем подкормить рассаду перца для мощных корней.
30. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
31. Ceкрет богатого урожая тoматов.
32. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
33. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
34. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
35. Mинтай можно без особого труда приготовить вкусно.
36. Cвекла на дaче: что вaжно учесть в течение сезона.
37. Сaлат с копченой курицей.
38. Стильное оформление квартиры.
39. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
40. Насыпной пирог с творожной начинкой.
41. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
42. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
43. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
44. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
45. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
46. Полезная свекольная аджика на зиму.
47. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
48. Создавать уют своими руками - значит делать интерьер уникальным.
49. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
50. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.