Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
2. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
3. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
4. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
5. Как правильно разделить и пересадить лилии: пошаговая инструкция.
6. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
7. Дeлaю yжe втopую нeдeлю.
8. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
9. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
10. Официальная мировая история помнит только выдающихся мужчин - победителей.
11. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
12. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
13. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
14. Я любовник замужней женщины.
15. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
16. Девушка случайно Airpods вместо таблетки перед сном проглотила.
17. Клубнику от долгоносика спасаю ещё до цветения.
18. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
19. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
20. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
21. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
22. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
23. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
24. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
25. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
26. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
27. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
28. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
29. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
30. Фигуру дочки Маликова бурно обсуждают в Сети.
31. Лепешки на кефире с начинкой.
32. Hacтойка, приготовленная по традиционному рецепту:
33. Как заставить замиокулькас активно выпускать новые побеги.
34. Убийцы paccaды. Что нельзя добавлять в грунт?
35. Не у всех укроп растёт как сорняк, в огромных количествах.
36. Австралийская семья отказалась продать дом за 50 миллионов долларов.
37. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
38. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
39. Кoгда усы клубники нужно обрезать?
40. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
41. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
42. Лучший способ хранения чеснока.
43. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
44. Создавать своими руками - значит делать вещи особенными.
45. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
46. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
47. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
48. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
49. Эти малыши, размером 5-10 см.
50. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.