Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
2. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
3. Родила старшую дочку в 17 лет.
4. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
5. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
6. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
7. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
8. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
9. Дочке десять лет, смотрится даже помладше из-за маленького роста.
10. С 1 марта банки будут блокировать переводы при обнаружении вируса.
11. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
12. Популярные суши и роллы официально признали настоящим суперфудом.
13. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
14. В России временно разрешили производство бензина и дизеля более низких экологических классов.
15. Мы удаляем листья у томата по правилам!
16. Я любовник замужней женщины.
17. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
18. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
19. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
20. Мой личный лайфхак относительно учёбы.
21. Хитрости выращивания кабачков:
22. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
23. Почему вы зря деревья от лишайника белите?
24. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
25. Чтo hужно сделать для малины весной.
26. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
27. Топ - 7 наборов семян, которые должны быть у каждого!
28. Moй споcoб подкopмки мoлодой рассады тoматов.
29. Домашний интернет в России начали ограничивать для активных пользователей.
30. Toлько не забудьте peцепт!
31. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
32. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
33. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
34. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
35. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
36. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
37. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
38. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
39. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
40. Конечно! Вот классический рецепт варенья из яблок с апельсином:
41. В России начались испытания новой вакцины против аллергии.
42. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
43. Пурпурная малина - настоящая Находка для вашего сада!
44. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
45. Как правильно подготовить малинник к новому сезону.
46. Недорогое средство от пятнистостей на розах.
47. Срывать недозрелые плоды или ждать полной зрелости?
48. 3 популярных сорта жимолости.
49. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
50. Грим в кино - это не просто макияж, а важная часть создания образа героя.