Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Амазония кажется бескрайним зелёным океаном, но её глубины скрывают опасности.
2. Valve начала Казахстану в разы больше налоговых денег приносить.
3. В России сообщили о взломах автомобилей Li Xiang.
4. "Женщин Нужно Загнать в Беременность" - россиянкам старше 38 лет хотят отменить бесплатное ЭКО.
5. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
6. Мы с мужем квартиру в старом двухэтажном доме купили.
7. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
8. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
9. Спать по 3, 5 часа и забыть про выходные - только так можно добиться успеха в жизни, считают мультимиллионеры.
10. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
11. Удивительные товарищи всё-таки - родственнички.
12. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
13. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
14. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
15. На столе опять собралась миска яблок, которые никто не хотел есть.
16. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
17. Дочке десять лет, смотрится даже помладше из-за маленького роста.
18. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
19. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
20. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
21. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
22. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
23. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
24. Про проветривание теплицы.
25. На море вляпалась в курортный роман.
26. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
27. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
28. Много лет отжиралась, но сейчас железно решила сесть на диету.
29. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
30. Некоторые археологические открытия наше прошлое слишком странным делают.
31. Роза осирия - магия двух оттенков.
32. Когда-то давно у меня был кот с сумасшедшим характером.
33. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
34. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
35. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
36. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
37. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
38. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
39. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
40. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
41. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
42. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
43. Coветы для тoго, чтoбы получить крупную малину.
44. Их форма, цвет и даже расположение никогда не бывают случайными.
45. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
46. Мы удобряeм сливу правильно!
47. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
48. А вы знали, что если у девушки долго не было Seksa, то она ….
49. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
50. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений: