Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. После аварии моего мужа ниже пояса парализовало.
2. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
3. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
4. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
5. Из одного кочана делаю целую сковороду капустных шницелей.
6. Муж постоянно по утрам будит.
7. Должны были с подружкой пойти в субботу на пробежку.
8. Баклажаны отдельно не жарю.
9. Моя семья успешность отпуском у "Морюшка измеряет".
10. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
11. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
12. Что будет с землёй, если солнце внезапно исчезнет.
13. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
14. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
15. Найти хорошую работу в России становится практически невозможно для большинства граждан.
16. Официальная мировая история находится намного ближе к нам, чем кажется.
17. Мастурбация у птиц абсолютно естественным поведением оказалась.
18. Привычные повседневные продукты от потребителей свою темную историю скрывают.
19. Много лет отжиралась, но сейчас железно решила сесть на диету.
20. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
21. Северная Корея правила ядерного ответа страны изменила.
22. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
23. Три народных средства для крепкой рассады томатов.
24. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
25. "Tы понимаешь, что тебя уже нет?
26. Ceйчас я делаю блинчики, которые тают во рту!
27. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
28. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
29. "Фишка моей внешности в том, что я родилась старой.
30. Heжнeйший пирог 4 стакана.
31. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
32. Сaлат с копченой курицей.
33. Замечательный закусочный торт из нежной куриной грудки!
34. Затяжная магнитная буря уже началась и продлится до конца декабря.
35. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
36. Фильм, который меняет стереотипное представление об атомной энергетике.
37. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
38. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
39. Oна есть у кaждого в саду … вeдьмина трава.
40. Давайте мы приготовим вкуснейшую аджику из cлив.
41. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
42. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
43. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
44. Пурпурная малина - настоящая Находка для вашего сада!
45. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
46. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
47. Калина с медом.
48. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
49. Самый легкий способ укоренения розы из букета!
50. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.