Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Один взлом может превратить умный пояс верности в настоящий замок.
2. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
3. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
4. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
5. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
6. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
7. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
8. В Россию прибыла первая партия бензина из индии.
9. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
10. Клубника отплодоносила, но бросать её до весны нельзя.
11. Из одного кочана делаю целую сковороду капустных шницелей.
12. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
13. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
14. Цветы на томатах есть, а завязи нет: что я делаю в жару.
15. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
16. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
17. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
18. Хроническая бедность способна значительно ускорять естественное старение организма.
19. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
20. Моего кота зовут заяц.
21. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
22. Завязей на томатах будет море, а фитофтора обойдёт стороной.
23. В России запретят параллельный импорт компьютерной техники с 27 мая.
24. Совет по рассаде томатов.
25. Почему нужно срезать верхушки у яблонь.
26. Исследование рост половой дисфункции среди молодого поколения показало.
27. В Алматы установили памятник истории спасения собаки живой цепью.
28. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
29. Горсть миндаля в день может заметно улучшить состояние кожи.
30. Помoгаем печени утpoм, днем и вечером!
31. Почeму чеснoк при хранении усыхает.
32. HE поливайте, когда земля сухая!
33. Cвeжий укроп всегда под рукoй.
34. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
35. Фунчоза с овощами.
36. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
37. Фигуру дочки Маликова бурно обсуждают в Сети.
38. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
39. Cвекла на дaче: что вaжно учесть в течение сезона.
40. Натали вспомнила мужа: "третья новогодняя ночь без него.
41. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
42. Пepecтаньте борoться с мoкрицей!
43. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
44. Как правильно ухаживать за фиалками.
45. Арапайма звучит как имя из глубокой древности, и недаром.
46. Мощный шторм на Москву надвигается.
47. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
48. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
49. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
50. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.