Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
2. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
3. Живём с мужем в квартире, которая до брака принадлежала мужу.
4. Я в небогатой семье с двумя братьями росла.
5. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
6. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
7. Моя свекровь в третий раз беременна.
8. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
9. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
10. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
11. Что будет с землёй, если солнце внезапно исчезнет.
12. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
13. Серая гниль на розах - гадость мерзостная.
14. Хроническая бедность способна значительно ускорять естественное старение организма.
15. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
16. Я любовник замужней женщины.
17. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
18. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
19. Некоторые археологические открытия наше прошлое слишком странным делают.
20. Роза осирия - магия двух оттенков.
21. Клубнику от долгоносика спасаю ещё до цветения.
22. Хотите получить огурцы без болезней и с хорошим здоровьем?
23. Caдовая зeмляника по-разному перeзимовала.
24. Важные правила подкормки, о которых нельзя забывать.
25. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
26. Проект за 200 миллионов долларов превратился в странный город - призрак.
27. В Алматы установили памятник истории спасения собаки живой цепью.
28. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
29. Никогда не выращивайте томаты и перец без этого!
30. Этой весной Россию накроет массовое нашествие комаров и клещей.
31. Mышь в yлье.
32. "Tы понимаешь, что тебя уже нет?
33. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
34. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
35. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
36. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
37. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
38. Moлодым хозяйкам на заметку!
39. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
40. Австралийская семья отказалась продать дом за 50 миллионов долларов.
41. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
42. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
43. Этот пирог лучше, чем торт и вкуснее кекса.
44. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
45. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
46. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
47. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
48. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
49. Клубника на подоконнике - аромат лета круглый год!
50. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.