Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
2. Перед похолоданием целый таз зелёных помидоров сняла.
3. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
4. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
5. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
6. Выкопать свёклу - половина дела.
7. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
8. МРТ Плода показывает мозг и глаза сквозь кости черепа.
9. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
10. Сняли лук или ранний картофель и бросили голую грядку до весны?
11. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
12. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
13. Официальная мировая история помнит только выдающихся мужчин - победителей.
14. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
15. Мастурбация у птиц абсолютно естественным поведением оказалась.
16. Роза осирия - магия двух оттенков.
17. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
18. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
19. Kaким рacтениям зoла не подходит.
20. В Госдуме предложили необычный способ провести время без интернета.
21. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
22. Клещи - мутанты из Африки атакуют россиян.
23. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
24. Редкий секс с повышенным риском смертности и болезней сердца связан.
25. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
26. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
27. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
28. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
29. Секрет пышной и сладкой морковки - простая подкормка!
30. Их форма, цвет и даже расположение никогда не бывают случайными.
31. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
32. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
33. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
34. Дaвно забытый peцепт из сссp.
35. Дeвочки, прошу вaшего совета.
36. Пpoще пpocтого! Никто не догадается как оно сделано!
37. Мы применяем просроченные лекарства.
38. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
39. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
40. Маринованные помидоры. Предлагаю рецепт помидорчиков.
41. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
42. Как правильно подготовить малинник к новому сезону.
43. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
44. Кто сказал, что шестиугольники только у пчёл?
45. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
46. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
47. Калина с медом.
48. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
49. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
50. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.