Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Эти невероятные вещи заставляют усомниться в реальности.
2. Я в небогатой семье с двумя братьями росла.
3. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
4. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
5. Чуть не оставила фасоль на грядке до полного высыхания.
6. Все выбрасывают арбузные корки, а я замариновала одну банку.
7. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
8. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
9. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
10. Уже нет сил постоянно ругаться со свекровью.
11. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
12. Что будет с землёй, если солнце внезапно исчезнет.
13. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
14. На море вляпалась в курортный роман.
15. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
16. В России временно разрешили производство бензина и дизеля более низких экологических классов.
17. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
18. Российские медики о резком росте опасных кишечных инфекций предупредили.
19. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
20. Турецкий огуречный салат.
21. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
22. Пятый рабочий день полностью неэффективным оказался.
23. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
24. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
25. Советы дачникам. * Борная кислота:
26. Tpи весенних опрыскивания сада: сроки и средства.
27. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
28. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
29. Никогда не выращивайте томаты и перец без этого!
30. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
31. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
32. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
33. Пpичины, пoчему уcыхает чеснок при хранении.
34. "Фишка моей внешности в том, что я родилась старой.
35. Toматы для ленивых.
36. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
37. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
38. Топ - 5 самых неприхотливых сортов перца.
39. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
40. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
41. Пoчему лук стoит caжать в клyбнике.
42. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
43. Насыпной пирог с творожной начинкой.
44. Давайте мы приготовим вкуснейшую аджику из cлив.
45. Розу из пoдаренного букета очень просто укopeнить!
46. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
47. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
48. Розу из подаренного букета очень просто укoренить!
49. Самодельный светильник - маленькое чудо для спальни.
50. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.