Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Провела всё своё детство в деревне, где абсолютно нечего было делать.
2. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
3. После аварии моего мужа ниже пояса парализовало.
4. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
5. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
6. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
7. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
8. Россияне снова смогут оформлять иммиграционные визы в США.
9. Чем заболела груша и как ее лечить?
10. Что будет с землёй, если солнце внезапно исчезнет.
11. Цветы на томатах есть, а завязи нет: что я делаю в жару.
12. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
13. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
14. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
15. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
16. Найти хорошую работу в России становится практически невозможно для большинства граждан.
17. Официальная мировая история помнит только выдающихся мужчин - победителей.
18. Хроническая бедность способна значительно ускорять естественное старение организма.
19. История доказывает, что многие теории заговора со временем становятся фактами.
20. Мы удаляем листья у томата по правилам!
21. Хотите получить огурцы без болезней и с хорошим здоровьем?
22. Здравствуйте, участники сообщества!
23. В России обновили правила сдачи экзаменов на водительские права.
24. Опилки на грядках: бесплатное золото или яд для урожая?
25. Натуральные стимуляторы образования корней.
26. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
27. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
28. Проект за 200 миллионов долларов превратился в странный город - призрак.
29. Как подкормить малину весной для крупных и сладких ягод.
30. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
31. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
32. Kaким растениям зола не подходит.
33. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
34. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
35. Дочь марии Шукшиной раскрыла боль семейных отношений.
36. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
37. Пoлезный чай для печени и жёлчного пузыря.
38. Mинтай можно без особого труда приготовить вкусно.
39. Австралийская семья отказалась продать дом за 50 миллионов долларов.
40. Heжеланные coceди для груши: с кем oна "не Дрyжит".
41. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
42. Фильм, который меняет стереотипное представление об атомной энергетике.
43. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
44. Насыпной пирог с творожной начинкой.
45. Учёные в вейпах следы фекалий обнаружили.
46. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
47. Какие лилии могут зимовать в грунте!
48. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
49. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
50. Казалось бы, простая рамка для фото.