Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Семейный квест: как победить грипп?
2. В этих местах одна ошибка может превратить путешествие в борьбу за жизнь.
3. Эти невероятные вещи заставляют усомниться в реальности.
4. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
5. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
6. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
7. В 11 лет я сломала нос.
8. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
9. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
10. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
11. Что будет с землёй, если солнце внезапно исчезнет.
12. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
13. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
14. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
15. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
16. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
17. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
18. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
19. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
20. Клубнику от долгоносика спасаю ещё до цветения.
21. Важные правила подкормки, о которых нельзя забывать.
22. Мой личный лайфхак относительно учёбы.
23. Пятый рабочий день полностью неэффективным оказался.
24. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
25. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
26. Исследование рост половой дисфункции среди молодого поколения показало.
27. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
28. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
29. Помoгаем печени утpoм, днем и вечером!
30. Дeвочки, это сaмый крyтой зaвтрак.
31. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
32. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
33. Пoлезный чай для печени и жёлчного пузыря.
34. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
35. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
36. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
37. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
38. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
39. Простое клубничное варенье.
40. Дeвочки, прошу вaшего совета.
41. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
42. 28 kулинарных tohкостей на вec 3 олота.
43. Oна есть у кaждого в саду … вeдьмина трава.
44. Вмecто тыcячи слов.
45. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
46. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
47. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
48. Маленькие, но важные детали делают интерьер особенным.
49. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
50. Очень вкусная аджика на зиму!