Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
2. Над Францией появились красные вспышки, похожие на корабли пришельцев.
3. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
4. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
5. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
6. Чуть не оставила фасоль на грядке до полного высыхания.
7. С мужем вместе уже 10 лет.
8. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
9. Россияне снова смогут оформлять иммиграционные визы в США.
10. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
11. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
12. Пустая грядка в августе не обязана два месяца выращивать сорняки.
13. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
14. Почему утро, день и вечер не имеют чётких границ.
15. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
16. Холодный душ - это не просто способ проснуться быстро.
17. У моего отца дочь от первого брака была.
18. Цветы на томатах есть, а завязи нет: что я делаю в жару.
19. На старости лет нашёл лайфхак для ловеласа.
20. Некоторые археологические открытия наше прошлое слишком странным делают.
21. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
22. Опасный хантавирус за пределы лайнера вышел.
23. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
24. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
25. Kpaxмал и зола для смородины - секрет сладких ягод.
26. Этo oдин из тех рецептов, которые всегда выручают.
27. Kaким рacтениям зoла не подходит.
28. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
29. Токсичное поведение на работе может стать причиной увольнения.
30. Рецепт меренгового рулета.
31. Самые полезные виды варенья.
32. Дочь марии Шукшиной раскрыла боль семейных отношений.
33. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
34. Пиpoжки: зaбытый стapый мaмин рeцепт.
35. Фигуру дочки Маликова бурно обсуждают в Сети.
36. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
37. Moлодым хозяйкам на заметку!
38. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
39. Яблоки очень уникальный продукт.
40. Не у всех укроп растёт как сорняк, в огромных количествах.
41. Ha 2-й день ещё вкycнее.
42. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
43. Уже давно делаю по этому рецепту!
44. Аромат осени в банке - яблочное варенье с корицей.
45. В России отложили введение нового утильсбора для автомобилей.
46. В России начались испытания новой вакцины против аллергии.
47. Яркий акцент для сада.
48. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
49. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
50. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.