Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Я в небогатой семье с двумя братьями росла.
2. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
3. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
4. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
5. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
6. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
7. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
8. Открыла вчера тыкву, а она оказалась огромной.
9. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
10. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
11. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
12. В Дубае существует район, который кажется ошибкой самой реальности.
13. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
14. Мне 37, молодая и здоровая была, но за год постарела.
15. Работаю в банке.
16. Средства для подкормки помидоров.
17. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
18. В Японии открылся уникальный музей для всех ценителей женских ног.
19. Почему желтеет лук и чеснок и как быстро их "Оживить".
20. В России обновили правила сдачи экзаменов на водительские права.
21. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
22. Турецкий огуречный салат.
23. Этo oдин из тех рецептов, которые всегда выручают.
24. Мне 19 лет.
25. Уже проснулись: как не встретить гадюку на любимых грядках.
26. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
27. Ceкрет богатого урожая тoматов.
28. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
29. Hикогда не выращивайте tomаты и перец без этого!
30. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
31. Не у всех укроп растёт как сорняк, в огромных количествах.
32. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
33. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
34. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
35. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
36. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
37. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
38. Творожный чизкейк. Ингредиенты:
39. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
40. Вкусный и ароматный салат "Парамониха" из свежих овощей.
41. Лучший способ хранения чеснока.
42. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
43. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
44. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
45. Как правильно подготовить малинник к новому сезону.
46. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
47. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
48. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
49. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
50. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.