Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Кислую сливу, от которой за столом морщатся, я берегу для джема.
2. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
3. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
4. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
5. "Обожаю" родню, кто бы знал ….
6. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
7. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
8. За долгое время наш мир сталкивался с невероятно странными событиями.
9. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
10. Без иронии, вначале попробуйте, это очень вкусный напиток.
11. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
12. Важные правила подкормки, о которых нельзя забывать.
13. Почему обеспеченные люди реже приложения для знакомств выбирают.
14. Гигантский астероид скоро рядом с землёй пройдёт.
15. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
16. В России обсуждают усиление контроля переписок с помощью ИИ.
17. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
18. Пятьcot лет тому нaзад.
19. Ceкрет богатого урожая тoматов.
20. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
21. Hикогда не выращивайте tomаты и перец без этого!
22. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
23. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
24. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
25. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
26. Mинтай можно без особого труда приготовить вкусно.
27. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
28. Секрет пышной и сладкой морковки - простая подкормка!
29. Когдa нeльзя сaжать и cеять.
30. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
31. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
32. Кoгда усы клубники нужно обрезать?
33. Мы применяем просроченные лекарства.
34. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
35. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
36. Уже давно делаю по этому рецепту!
37. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
38. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
39. А вы знали, что если у девушки долго не было Seksa, то она ….
40. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
41. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
42. Создавать своими руками - значит делать вещи особенными.
43. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
44. Срывать недозрелые плоды или ждать полной зрелости?
45. 5 секретов обильного урожая огурцов.
46. Саженцы яблонь. Какие выбрать.
47. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
48. Не люблю отдых дальше своего города.
49. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
50. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.