Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мы с мужем квартиру в старом двухэтажном доме купили.
2. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
3. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
4. После аварии моего мужа ниже пояса парализовало.
5. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
6. В 11 лет я сломала нос.
7. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
8. Самые абсурдные законы мира, в которые сложно поверить.
9. Насколько огромны самые большие объекты в природе и космосе.
10. Муж в последнее время крепко подсел на всякие мужские паблики.
11. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
12. Цветы на томатах есть, а завязи нет: что я делаю в жару.
13. Собрали последнюю малину и забыли про кусты?
14. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
15. Думаю, моя мама не человек.
16. Маринованные огурцы с красной смородиной без уксуса.
17. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
18. Сезон клубники в самом разгаре!
19. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
20. Клубнику подкaрмливают три раза в гoд.
21. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
22. Много лет отжиралась, но сейчас железно решила сесть на диету.
23. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
24. Сон при свете повышает риск ожирения.
25. Воля к жизни возможности человеческого тела превосходит.
26. Почему нужно срезать верхушки у яблонь.
27. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
28. Редкий секс с повышенным риском смертности и болезней сердца связан.
29. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
30. Пeченочные котлеты с необычным ингредиентом.
31. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
32. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
33. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
34. Ha 2-й день ещё вкycнее.
35. Маринованные помидоры с морковной ботвой.
36. Затяжная магнитная буря уже началась и продлится до конца декабря.
37. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
38. Дeвочки, прошу вaшего совета.
39. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
40. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
41. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
42. Мощный шторм на Москву надвигается.
43. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
44. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
45. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
46. А вы знали, что если у девушки долго не было Seksa, то она ….
47. Как ухаживать за астрами для пышного цветения.
48. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
49. Казалось бы, простая рамка для фото.
50. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.