Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
2. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
3. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
4. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
5. Зеленый бочок у картошки: срезать или выбросить?
6. Как правильно разделить и пересадить лилии: пошаговая инструкция.
7. Вынуждена была уехать на лечение на месяц в другую страну.
8. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
9. Сезон клубники в самом разгаре!
10. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
11. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
12. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
13. План для женщин, которые одиноки и ищут себе мужчину!
14. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
15. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
16. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
17. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
18. Когда сажать бархатцы и какие сорта лучше выбрать.
19. В Госдуме предложили необычный способ провести время без интернета.
20. Последний защитник брестской крепости.
21. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
22. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
23. Kак победить пырей на участке.
24. Kaким растениям зола не подходит.
25. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
26. Джим Керри и теория клона: что произошло на самом деле?
27. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
28. Редкий секс с повышенным риском смертности и болезней сердца связан.
29. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
30. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
31. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
32. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
33. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
34. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
35. Mинтай можно без особого труда приготовить вкусно.
36. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
37. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
38. Маринованные помидоры с морковной ботвой.
39. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
40. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
41. Очищение сосудов головного мозга.
42. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
43. Маринованные помидоры. Предлагаю рецепт помидорчиков.
44. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
45. Самодельный светильник - маленькое чудо для спальни.
46. Недорогое средство от пятнистостей на розах.
47. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
48. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
49. Эти малыши, размером 5-10 см.
50. Защита от муравьев.