Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
2. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
3. Мы с мужем квартиру в старом двухэтажном доме купили.
4. Ночью знакомая дорога легко в полосу неизвестности превращается.
5. Кислую сливу, от которой за столом морщатся, я берегу для джема.
6. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
7. На столе опять собралась миска яблок, которые никто не хотел есть.
8. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
9. Баклажаны отдельно не жарю.
10. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
11. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
12. Муж в последнее время крепко подсел на всякие мужские паблики.
13. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
14. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
15. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
16. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
17. Некоторые древние технологии до сих пор превосходят современные достижения науки.
18. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
19. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
20. Важные правила подкормки, о которых нельзя забывать.
21. Когда сажать бархатцы и какие сорта лучше выбрать.
22. Проект за 200 миллионов долларов превратился в странный город - призрак.
23. У китайцев принято чавкать.
24. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
25. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
26. Картофельные ростки: золотой актив, который вы зря выбрасывали!
27. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
28. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
29. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
30. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
31. "Фишка моей внешности в том, что я родилась старой.
32. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
33. Пирожки: забытый старый мамин рецепт.
34. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
35. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
36. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
37. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
38. Пробовали сажать лук китайским способом?
39. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
40. Давайте мы приготовим вкуснейшую аджику из cлив.
41. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
42. В России начались испытания новой вакцины против аллергии.
43. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
44. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
45. Яркий акцент для сада.
46. Начинайте готовить ягодные кустарники к холодам.
47. Что обязательно укрыть на зиму, кроме роз.
48. Острый соус, который можно замораживать.
49. Пергола - это не просто арка или навес.
50. В московских клиниках лечение на современном оборудовании нормой стало.