Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Москву предупредили о трёх днях возможных перебоев с интернетом.
2. Российские банки смогут передавать личные данные клиентов сторонним компаниям без их согласия.
3. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
4. Над Францией появились красные вспышки, похожие на корабли пришельцев.
5. Мы с мужем квартиру в старом двухэтажном доме купили.
6. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
7. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
8. В GTA VI полиция даже ваше лицо и одежду запомнит.
9. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
10. В Россию прибыла первая партия бензина из индии.
11. Уже нет сил постоянно ругаться со свекровью.
12. Вынуждена была уехать на лечение на месяц в другую страну.
13. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
14. В нашей семье все склонны к полноте.
15. План для женщин, которые одиноки и ищут себе мужчину!
16. В Японии открылся уникальный музей для всех ценителей женских ног.
17. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
18. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
19. Традиционные дипломные работы могут полностью исчезнуть из вузов.
20. Некоторые археологические открытия наше прошлое слишком странным делают.
21. С 1 сентября в России планируют обновить перечень медицинских специальностей.
22. Препараты от болезней томатов!
23. Когда сажать бархатцы и какие сорта лучше выбрать.
24. Одни из первых протезов использовали ещё в эпоху древнего Рима.
25. Hикогда не выpaщивайте tomаты и перец без этого!
26. В Госдуме предложили необычный способ провести время без интернета.
27. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
28. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
29. Чем подкормить рассаду перца для мощных корней.
30. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
31. Никогда не выращивайте томаты и перец без этого!
32. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
33. Нежный пирог черный принц из варенья.
34. Ceйчас я делаю блинчики, которые тают во рту!
35. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
36. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
37. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
38. Пирожки: забытый старый мамин рецепт.
39. Топ - 5 самых неприхотливых сортов перца.
40. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
41. Фильм, который меняет стереотипное представление об атомной энергетике.
42. Подругa нaучила "Прaвильно" тушить капусту.
43. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
44. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
45. Врачи о бесполезности популярных бадов с коллагеном заявили.
46. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
47. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
48. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
49. Начинайте готовить ягодные кустарники к холодам.
50. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.