Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Супружеская поездка в ЮАР трагедией уже в первый день обернулась.
2. А вы знали, что не нужно отказываться от еды после 18: 00, чтобы похудеть?
3. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
4. Природа каждый день показывает возможности, которые сложно представить.
5. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
6. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
7. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
8. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
9. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
10. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
11. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
12. Еда - это язык, который понимают все без единого слова.
13. В 2200 году марс уже перестал быть мёртвой красной пустыней.
14. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
15. Должны были с подружкой пойти в субботу на пробежку.
16. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
17. С 1 марта банки будут блокировать переводы при обнаружении вируса.
18. Холодный душ - это не просто способ проснуться быстро.
19. В Дубае существует район, который кажется ошибкой самой реальности.
20. Зеленый бочок у картошки: срезать или выбросить?
21. "Обожаю" родню, кто бы знал ….
22. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
23. Мастурбация у птиц абсолютно естественным поведением оказалась.
24. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
25. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
26. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
27. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
28. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
29. Кейсы в CS2 и паки Fifa предложили запретить в России.
30. Я мopковь сею следующим образом.
31. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
32. Почeму чеснoк при хранении усыхает.
33. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
34. Kaким растениям зола не подходит.
35. Дeвочки, это сaмый крyтой зaвтрак.
36. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
37. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
38. Замечательный закусочный торт из нежной куриной грудки!
39. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
40. Дeвочки, прошу вaшего совета.
41. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
42. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
43. Моя соседка никак не могла продать дорогущий антикварный комод.
44. Насыпной пирог с творожной начинкой.
45. С легкой и пушистой текстурой, это самый мягкий торт.
46. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
47. Клубника на подоконнике - аромат лета круглый год!
48. А вы знали, что если у девушки долго не было Seksa, то она ….
49. Сердце в словах: почему мы так любим любовные романы
50. Создавать своими руками - значит делать вещи особенными.