Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Трамп добился новой отсрочки лотереи грин-карт DV - 2027 через суд.
2. Москвичка девять месяцев не подозревала, что носит ребёнка.
3. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
4. Мы с мужем квартиру в старом двухэтажном доме купили.
5. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
6. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
7. Кислую сливу, от которой за столом морщатся, я берегу для джема.
8. Перед похолоданием целый таз зелёных помидоров сняла.
9. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
10. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
11. После уборки чеснока всегда остаются повреждённые головки.
12. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
13. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
14. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
15. Муж в последнее время крепко подсел на всякие мужские паблики.
16. Собрали последнюю малину и забыли про кусты?
17. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
18. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
19. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
20. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
21. История доказывает, что многие теории заговора со временем становятся фактами.
22. Здоровый быт начинается с внимания к предметам, которые вас окружают.
23. Хотите получить огурцы без болезней и с хорошим здоровьем?
24. Здравствуйте, участники сообщества!
25. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
26. Опасный хантавирус за пределы лайнера вышел.
27. В России запретят параллельный импорт компьютерной техники с 27 мая.
28. Пересадка огурцов без стресса.
29. Почему вы зря деревья от лишайника белите?
30. Здравствуйте, oбращаюсь анoнимнo.
31. После того как рухнула советская власть, что сделали?
32. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
33. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
34. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
35. Нетипичные плодовые культуры для северного сада.
36. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
37. Toматы для ленивых.
38. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
39. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
40. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
41. Замечательный закусочный торт из нежной куриной грудки!
42. Рецепт плюшек: Ингредиенты для опары:
43. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
44. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
45. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
46. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
47. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
48. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
49. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
50. Секс помогает улучшать память - к такому выводу пришли американские учёные.