Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
2. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
3. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
4. Из одного кочана делаю целую сковороду капустных шницелей.
5. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
6. Это не обычное варенье, где яблоки плавают в литре сиропа.
7. С 1 марта банки будут блокировать переводы при обнаружении вируса.
8. Четыре салата в банках на зиму.
9. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
10. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
11. Переехали за город, как давно мечтали.
12. Я не худею к морю - езжу в Турцию.
13. Про проветривание теплицы.
14. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
15. Популярные суши и роллы официально признали настоящим суперфудом.
16. Будьте осторожны на участках и во время отдыха на природе.
17. Сделал тест днк на дочь - результат 0%.
18. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
19. Июнь - решающий месяц в борьбе с монилиозом в саду.
20. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
21. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
22. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
23. Мошенники фейковые сообщения от Telegram рассылают.
24. Caдовая зeмляника по-разному перeзимовала.
25. Опилки на грядках: бесплатное золото или яд для урожая?
26. Натуральные стимуляторы образования корней.
27. Почему нужно срезать верхушки у яблонь.
28. Первая обработка сада от паразитов весной: полный гайд.
29. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
30. Последний защитник брестской крепости.
31. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
32. Никогда не выращивайте томаты и перец без этого!
33. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
34. Cвeжий укроп всегда под рукoй.
35. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
36. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
37. Магия пандоры. Аватары и актёры, которые воплотили их образы.
38. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
39. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
40. Конечно! Вот классический рецепт варенья из яблок с апельсином:
41. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
42. Пурпурная малина - настоящая Находка для вашего сада!
43. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
44. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
45. Калина с медом.
46. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
47. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
48. Тля на смoродинe. 2 срeдства, которые вам помoгут!
49. Знаете, зачем завязывают ботву чеснока в узел?
50. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов: