Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Меня вырастила бабушка.
2. Амазония кажется бескрайним зелёным океаном, но её глубины скрывают опасности.
3. Британские музеи хранят сокровища, возвращения которых требуют другие страны.
4. Новенькие Iphone Duo начали ломаться прямо на глазах покупателей.
5. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
6. Недавно с мужем заселились в съёмную квартиру.
7. Некоторые тайны земли до сих пор не получили окончательного объяснения.
8. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
9. Кислую сливу, от которой за столом морщатся, я берегу для джема.
10. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
11. Самые абсурдные законы мира, в которые сложно поверить.
12. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
13. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
14. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
15. "Обожаю" родню, кто бы знал ….
16. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
17. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
18. План для женщин, которые одиноки и ищут себе мужчину!
19. Здоровый быт начинается с внимания к предметам, которые вас окружают.
20. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
21. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
22. У меня сложные отношения со свекрами.
23. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
24. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
25. Священник стал маской, чтобы спасти детский приют и жизнь детей.
26. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
27. В Госдуме предложили необычный способ провести время без интернета.
28. 1941 год. Украина, первые месяцы оккупации.
29. Легенды мирового рока украсили фасады домов в елизаветино.
30. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
31. Картофельные ростки: золотой актив, который вы зря выбрасывали!
32. Все лето держу окна в доме отрытыми и не боюсь комаров.
33. Oгурцы будете рaздавать всем coceдям.
34. Hикогда не выращивайте tomаты и перец без этого!
35. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
36. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
37. Лепешки на кефире с начинкой.
38. Натали вспомнила мужа: "третья новогодняя ночь без него.
39. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
40. Дeвочки, прошу вaшего совета.
41. Не пробовали посадить лук китайским способом?
42. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
43. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
44. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
45. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
46. В России начались испытания новой вакцины против аллергии.
47. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
48. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
49. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
50. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.