Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
2. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
3. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
4. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
5. С 1 марта банки будут блокировать переводы при обнаружении вируса.
6. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
7. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
8. Должны были с женой и родителями лететь на свадьбу сестры.
9. Что будет с землёй, если солнце внезапно исчезнет.
10. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
11. Думаю, моя мама не человек.
12. Маринованные помидоры с чесноком быстрого приготовления.
13. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
14. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
15. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
16. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
17. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
18. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
19. Петербургские депутаты предложили изменить школьную программу полового воспитания.
20. Нарциссизм всё чаще связывают именно с генетикой.
21. Обычные прогулки мощной поддержкой для организма оказались.
22. Архивные фото Ирины шейк из юности.
23. Хитрости выращивания кабачков:
24. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
25. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
26. Полёты к луне снова реальностью спустя десятилетия стали.
27. Мой способ подкормки молодой рассады томатов.
28. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
29. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
30. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
31. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
32. Сekрет пышной и сладкой морковки - простая подкормка!
33. Cвeжий укроп всегда под рукoй.
34. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
35. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
36. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
37. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
38. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
39. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
40. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
41. Рецепт плюшек: Ингредиенты для опары:
42. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
43. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
44. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
45. Мы применяем просроченные лекарства.
46. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
47. Насыпной пирог с творожной начинкой.
48. Мы не дадим слизням перезимовать!
49. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
50. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.