Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Человечество создало резервную копию урожая на случай катастрофы.
2. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
3. Эти невероятные вещи заставляют усомниться в реальности.
4. Недавно с мужем заселились в съёмную квартиру.
5. Я в небогатой семье с двумя братьями росла.
6. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
7. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
8. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
9. Джем из кабачка и кураги сварила.
10. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
11. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
12. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
13. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
14. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
15. Найти хорошую работу в России становится практически невозможно для большинства граждан.
16. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
17. Сезон клубники в самом разгаре!
18. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
19. Экзамен по философии сдавала.
20. Мы удаляем листья у томата по правилам!
21. Мастурбация у птиц абсолютно естественным поведением оказалась.
22. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
23. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
24. Туапсе экологическая катастрофа хуже анапской грозит.
25. Турецкий огуречный салат.
26. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
27. Гигантский астероид скоро рядом с землёй пройдёт.
28. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
29. Первая обработка сада от паразитов весной: полный гайд.
30. Три народных средства для крепкой рассады томатов.
31. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
32. Последний защитник брестской крепости.
33. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
34. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
35. Самые полезные виды варенья.
36. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
37. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
38. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
39. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
40. Кoгда усы клубники нужно обрезать?
41. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
42. Фильм, который меняет стереотипное представление об атомной энергетике.
43. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
44. Малина ведрами. Как удается получать такой урожай?
45. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
46. Уже давно делаю по этому рецепту!
47. Это лучшее, что я когда-либо ела!
48. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
49. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
50. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.