Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. За спокойствием Швейцарии скрывается масштабная система военной обороны.
2. У каждого из этих продуктов есть своя полезная особенность.
3. Лоис гибсон превратила карандаш в инструмент поимки преступников.
4. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
5. В GTA VI полиция даже ваше лицо и одежду запомнит.
6. Малина отплодоносила - и рука так и тянется оставить всё до весны.
7. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
8. На столе опять собралась миска яблок, которые никто не хотел есть.
9. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
10. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
11. Большая оранжевая тыква созрела ещё не обязательно.
12. Это не обычное варенье, где яблоки плавают в литре сиропа.
13. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
14. Баклажаны отдельно не жарю.
15. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
16. Четыре салата в банках на зиму.
17. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
18. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
19. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
20. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
21. Haтуральная защита капусты от вредителей.
22. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
23. Мастурбация у птиц абсолютно естественным поведением оказалась.
24. Добрый день! Вдруг кто с подобным … сталкивался.
25. Роза осирия - магия двух оттенков.
26. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
27. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
28. Хотите получить огурцы без болезней и с хорошим здоровьем?
29. Нарциссизм всё чаще связывают именно с генетикой.
30. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
31. В Москве предупредили о возможных ограничениях связи.
32. Мой личный лайфхак относительно учёбы.
33. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
34. Когда сажать бархатцы и какие сорта лучше выбрать.
35. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
36. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
37. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
38. Moлодым хозяйкам на заметку!
39. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
40. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
41. Натали вспомнила мужа: "третья новогодняя ночь без него.
42. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
43. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
44. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
45. Врачи о бесполезности популярных бадов с коллагеном заявили.
46. Малина ведрами. Как удается получать такой урожай?
47. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
48. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
49. Клубника на подоконнике - аромат лета круглый год!
50. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.