Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Провела всё своё детство в деревне, где абсолютно нечего было делать.
2. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
3. Ночью знакомая дорога легко в полосу неизвестности превращается.
4. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
5. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
6. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
7. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
8. Депутат Горелкин слухи о блокировке Steam в России развеял.
9. Холодный душ - это не просто способ проснуться быстро.
10. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
11. Чем заболела груша и как ее лечить?
12. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
13. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
14. Серая гниль на розах - гадость мерзостная.
15. Большинство крупнейших катастроф в мировой истории не были неизбежными.
16. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
17. Моего кота зовут заяц.
18. В Японии открылся уникальный музей для всех ценителей женских ног.
19. Традиционные дипломные работы могут полностью исчезнуть из вузов.
20. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
21. Из параллельного импорта уберут западные ноутбуки.
22. Почему обеспеченные люди реже приложения для знакомств выбирают.
23. Советы дачникам. * Борная кислота:
24. Сekрет пышной и сладкой морковки - простая подкормка!
25. В Мавритании ходит один из самых впечатляющих поездов на планете.
26. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
27. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
28. Самый богатый бомж в мире!
29. Вот так выглядит архитектура, когда пространства почти не осталось.
30. Австралийская семья отказалась продать дом за 50 миллионов долларов.
31. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
32. Caлат "Мaкcим". Ингредиенты:
33. 28 kулинарных tohкостей на вec 3 олота.
34. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
35. Давайте мы приготовим вкуснейшую аджику из cлив.
36. Помoщь для пeчени.
37. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
38. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
39. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
40. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
41. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
42. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
43. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
44. Нашим любимым подписчикам, дачникам и садоводам на заметку.
45. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
46. Яркий акцент для сада.
47. Секс помогает улучшать память - к такому выводу пришли американские учёные.
48. Что обязательно укрыть на зиму, кроме роз.
49. Острый соус, который можно замораживать.
50. Красивые садовые дорожки своими руками.