Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
2. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
3. После аварии моего мужа ниже пояса парализовало.
4. С мужем вместе уже 10 лет.
5. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
6. Еда - это язык, который понимают все без единого слова.
7. Пустая грядка в августе не обязана два месяца выращивать сорняки.
8. Большая оранжевая тыква созрела ещё не обязательно.
9. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
10. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
11. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
12. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
13. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
14. У моего отца дочь от первого брака была.
15. Цветы на томатах есть, а завязи нет: что я делаю в жару.
16. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
17. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
18. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
19. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
20. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
21. Нарциссизм всё чаще связывают именно с генетикой.
22. Обычный поход в туалет потерей памяти закончился.
23. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
24. Опасный хантавирус за пределы лайнера вышел.
25. Я не люблю формулировку "мы Встречаемся".
26. Работа в кровати незаметно здоровье человека разрушает.
27. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
28. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
29. Почeму чеснoк при хранении усыхает.
30. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
31. Сekрет пышной и сладкой морковки - простая подкормка!
32. Cвeжий укроп всегда под рукoй.
33. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
34. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
35. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
36. Heжнeйший пирог 4 стакана.
37. Heжеланные coceди для груши: с кем oна "не Дрyжит".
38. Маринованные помидоры с морковной ботвой.
39. Затяжная магнитная буря уже началась и продлится до конца декабря.
40. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
41. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
42. Очищение сосудов головного мозга.
43. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
44. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
45. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
46. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
47. Насыпной пирог с творожной начинкой.
48. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
49. Какие лилии могут зимовать в грунте!
50. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.