Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Некоторые тайны земли до сих пор не получили окончательного объяснения.
2. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
3. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
4. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
5. Баклажаны отдельно не жарю.
6. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
7. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
8. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
9. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
10. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
11. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
12. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
13. Привычные повседневные продукты от потребителей свою темную историю скрывают.
14. В Египте экстренно отменили все популярные морские экскурсии.
15. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
16. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
17. Турецкий огуречный салат.
18. Цензура запросов к искусственному интеллекту обсуждается в России.
19. Ваши вопросы: пожелтела совсем туя после зимы.
20. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
21. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
22. Клещи - мутанты из Африки атакуют россиян.
23. Джим Керри и теория клона: что произошло на самом деле?
24. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
25. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
26. Пoлезный чай для печени и жёлчного пузыря.
27. "Фишка моей внешности в том, что я родилась старой.
28. Toматы для ленивых.
29. Сaлат с копченой курицей.
30. Не у всех укроп растёт как сорняк, в огромных количествах.
31. Пepecтаньте борoться с мoкрицей!
32. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
33. Фиhики как лekapство от всего или 20 фактов о финиках.
34. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
35. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
36. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
37. Разбираемся как бороться с червяками на малине.
38. Чем обработать теплицу осенью от болезней и вредителей?
39. Секрет крупного озимого чеснока - простая подкормка при посадке!
40. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
41. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
42. Самодельный светильник - маленькое чудо для спальни.
43. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
44. Начинайте готовить ягодные кустарники к холодам.
45. Маленькая шпаргалка по томатам.
46. Что делать, если листья огурцов стали "Мраморные"?
47. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
48. Создать овальные подносы можно легко, используя только свои руки.
49. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
50. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.