Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В России предложили ограничить доступ к GTA VI для несовершеннолетних.
2. Valve начала Казахстану в разы больше налоговых денег приносить.
3. Человечество создало резервную копию урожая на случай катастрофы.
4. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
5. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
6. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
7. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
8. Перед похолоданием целый таз зелёных помидоров сняла.
9. Чуть не оставила фасоль на грядке до полного высыхания.
10. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
11. Насколько огромны самые большие объекты в природе и космосе.
12. Яблок много - вроде радоваться надо.
13. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
14. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
15. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
16. Что будет с землёй, если солнце внезапно исчезнет.
17. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
18. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
19. В Японии открылся уникальный музей для всех ценителей женских ног.
20. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
21. Нарциссизм всё чаще связывают именно с генетикой.
22. Кейсы в CS2 и паки Fifa предложили запретить в России.
23. Почему нужно срезать верхушки у яблонь.
24. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
25. У китайцев принято чавкать.
26. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
27. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
28. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
29. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
30. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
31. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
32. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
33. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
34. Самый возрастной ветеран великой отечественной войны умер.
35. Пиpoжки: зaбытый стapый мaмин рeцепт.
36. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
37. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
38. Не у всех укроп растёт как сорняк, в огромных количествах.
39. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
40. Затяжная магнитная буря уже началась и продлится до конца декабря.
41. Дeвочки, прошу вaшего совета.
42. Подругa нaучила "Прaвильно" тушить капусту.
43. Березовый деготь в помощь дачникy.
44. Как правильно ухаживать за фиалками.
45. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
46. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
47. Розу из пoдаренного букета очень просто укopeнить!
48. В России начались испытания новой вакцины против аллергии.
49. Что делать, если листья огурцов стали "Мраморные"?
50. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.