Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Человечество создало резервную копию урожая на случай катастрофы.
2. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
3. Nasa показало вселенную с невероятным уровнем детализации.
4. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
5. Чуть не оставила фасоль на грядке до полного высыхания.
6. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
7. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
8. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
9. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
10. Зеленый бочок у картошки: срезать или выбросить?
11. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
12. У моего отца дочь от первого брака была.
13. Мне 37, молодая и здоровая была, но за год постарела.
14. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
15. Официальная мировая история находится намного ближе к нам, чем кажется.
16. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
17. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
18. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
19. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
20. Я любовник замужней женщины.
21. Добрый день! Вдруг кто с подобным … сталкивался.
22. Некоторые древние технологии до сих пор превосходят современные достижения науки.
23. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
24. Обычный поход в туалет потерей памяти закончился.
25. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
26. Важные правила подкормки, о которых нельзя забывать.
27. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
28. Почему обеспеченные люди реже приложения для знакомств выбирают.
29. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
30. Трещины на тротуарах превращаются в целые миры художника.
31. Чем подкормить рассаду перца для мощных корней.
32. Легенды мирового рока украсили фасады домов в елизаветино.
33. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
34. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
35. Cвекла на дaче: что вaжно учесть в течение сезона.
36. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
37. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
38. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
39. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
40. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
41. Розу из пoдаренного букета очень просто укopeнить!
42. Россиян ожидает резкое повышение тарифов на электроэнергию.
43. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
44. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
45. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
46. Какие лилии могут зимовать в грунте!
47. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
48. Яркий акцент для сада.
49. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
50. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.