Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Увидел, как моя беременная жена обнималась с лысым мужиком.
2. В Афганистане некоторые девочки получают свободу, только став "Мальчиками".
3. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
4. Я в небогатой семье с двумя братьями росла.
5. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
6. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
7. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
8. Из мягких груш красивого варенья дольками не получится.
9. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
10. Маринованные огурцы с красной смородиной без уксуса.
11. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
12. Чем пoдкормить тoматы во время цветения для богатого урожая.
13. Моего кота зовут заяц.
14. Некоторые древние технологии до сих пор превосходят современные достижения науки.
15. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
16. Почему желтеет лук и чеснок и как быстро их "Оживить".
17. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
18. Пересадка огурцов без стресса.
19. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
20. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
21. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
22. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
23. Мне 19 лет.
24. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
25. 10 растений с белыми цветами.
26. Tpи весенних опрыскивания сада: сроки и средства.
27. Домашний интернет в России начали ограничивать для активных пользователей.
28. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
29. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
30. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
31. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
32. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
33. Сырники больше не делаю.
34. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
35. Пepecтаньте борoться с мoкрицей!
36. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
37. Затяжная магнитная буря уже началась и продлится до конца декабря.
38. Что нужно знать о перце:
39. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
40. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
41. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
42. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
43. Это лучшее, что я когда-либо ела!
44. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
45. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
46. В России начались испытания новой вакцины против аллергии.
47. Нашим любимым подписчикам, дачникам и садоводам на заметку.
48. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
49. Маленькая шпаргалка по томатам.
50. Что обязательно укрыть на зиму, кроме роз.