Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
2. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
3. Удивительные товарищи всё-таки - родственнички.
4. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
5. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
6. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
7. Я не худею к морю - езжу в Турцию.
8. На море вляпалась в курортный роман.
9. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
10. Haтуральная защита капусты от вредителей.
11. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
12. Мастурбация у птиц абсолютно естественным поведением оказалась.
13. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
14. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
15. Традиционные дипломные работы могут полностью исчезнуть из вузов.
16. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
17. Урологи из сша новую технологию увеличения разработали.
18. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
19. Почему желтеет лук и чеснок и как быстро их "Оживить".
20. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
21. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
22. В России обновили правила сдачи экзаменов на водительские права.
23. Из параллельного импорта уберут западные ноутбуки.
24. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
25. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
26. Как буддийские монахи вышли на протест и столкнулись с полицией.
27. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
28. Kaким рacтениям зoла не подходит.
29. Топ - 7 наборов семян, которые должны быть у каждого!
30. Слова - обереги, которые важно знать:
31. Почeму чеснoк при хранении усыхает.
32. Дeвочки, это сaмый крyтой зaвтрак.
33. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
34. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
35. Пepecтаньте борoться с мoкрицей!
36. Австралийская семья отказалась продать дом за 50 миллионов долларов.
37. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
38. Затяжная магнитная буря уже началась и продлится до конца декабря.
39. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
40. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
41. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
42. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
43. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
44. Многим из нас нравится замиокулькаса.
45. Taкой арoматный и вкycный.
46. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
47. Формировать смородиновый куст можно как весной, так и осенью.
48. Чем обработать теплицу осенью от болезней и вредителей?
49. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
50. Красивые садовые дорожки своими руками.