Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Над Францией появились красные вспышки, похожие на корабли пришельцев.
2. Природа каждый день показывает возможности, которые сложно представить.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
5. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
6. Еда - это язык, который понимают все без единого слова.
7. Всю жизнь терпеть не могу своё имя - Валентина.
8. Депутат Горелкин слухи о блокировке Steam в России развеял.
9. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
10. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
11. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
12. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
13. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
14. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
15. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
16. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
17. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
18. Лиcтья свернулись и побелели после высадки в теплицу.
19. Добрый день! Вдруг кто с подобным … сталкивался.
20. Петербургские депутаты предложили изменить школьную программу полового воспитания.
21. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
22. Малина в июне в правильной подкормке нуждается.
23. Так томаты в теплицу не просто так высаживают.
24. В России запретят параллельный импорт компьютерной техники с 27 мая.
25. История любви из разных миров покорила интернет.
26. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
27. Мой способ подкормки молодой рассады томатов.
28. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
29. Уже проснулись: как не встретить гадюку на любимых грядках.
30. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
31. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
32. "Tы понимаешь, что тебя уже нет?
33. Нежный пирог черный принц из варенья.
34. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
35. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
36. Самый богатый бомж в мире!
37. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
38. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
39. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
40. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
41. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
42. Чтo делает с оргahизмом всего одна хурма.
43. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
44. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
45. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
46. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
47. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
48. Секс помогает улучшать память - к такому выводу пришли американские учёные.
49. Недорогое средство от пятнистостей на розах.
50. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.