Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
2. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
3. Мы с мужем квартиру в старом двухэтажном доме купили.
4. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
5. Я в небогатой семье с двумя братьями росла.
6. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
7. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
8. Все выбрасывают арбузные корки, а я замариновала одну банку.
9. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
10. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
11. Дочке десять лет, смотрится даже помладше из-за маленького роста.
12. Баклажаны отдельно не жарю.
13. Вынуждена была уехать на лечение на месяц в другую страну.
14. Мне 37, молодая и здоровая была, но за год постарела.
15. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
16. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
17. Хроническая бедность способна значительно ускорять естественное старение организма.
18. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
19. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
20. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
21. Экзамен по философии сдавала.
22. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
23. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
24. Из параллельного импорта уберут западные ноутбуки.
25. Моя мама очень долго болью в коленях мучилась.
26. Caдовая зeмляника по-разному перeзимовала.
27. Повеяло летом. Клубника рекорд установила.
28. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
29. Полёты к луне снова реальностью спустя десятилетия стали.
30. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
31. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
32. Редкий секс с повышенным риском смертности и болезней сердца связан.
33. Обычный лавровый лист заставит комнатные растения пышно цвести.
34. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
35. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
36. Самый возрастной ветеран великой отечественной войны умер.
37. Лепешки на кефире с начинкой.
38. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
39. Очищение сосудов головного мозга.
40. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
41. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
42. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
43. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
44. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
45. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
46. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
47. Секс помогает улучшать память - к такому выводу пришли американские учёные.
48. Что делать, если листья огурцов стали "Мраморные"?
49. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
50. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.