Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
2. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
3. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
4. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
5. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
6. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
7. В Дубае существует район, который кажется ошибкой самой реальности.
8. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
9. Я не худею к морю - езжу в Турцию.
10. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
11. Мощная подкормка для овощей: секрет огромного количества завязей.
12. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
13. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
14. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
15. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
16. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
17. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
18. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
19. В Москве предупредили о возможных ограничениях связи.
20. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
21. Как буддийские монахи вышли на протест и столкнулись с полицией.
22. Как подкормить малину весной для крупных и сладких ягод.
23. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
24. Три народных средства для крепкой рассады томатов.
25. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
26. Исследование рост половой дисфункции среди молодого поколения показало.
27. Kaким растениям зола не подходит.
28. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
29. Сekрет пышной и сладкой морковки - простая подкормка!
30. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
31. Oбычный лавровый лист заставит комнатные растения пышно цвести.
32. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
33. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
34. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
35. Дaвно забытый peцепт из сссp.
36. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
37. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
38. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
39. Как правильно подкармливать пионы чтобы они пышно цвели.
40. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
41. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
42. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
43. Полезная памятка средств для сада и огорода.
44. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
45. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
46. Как правильно подготовить малинник к новому сезону.
47. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
48. Молодая кровь способна омолаживать тело - это доказали учёные.
49. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
50. Лето без арбуза и дыни - не лето!