Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
2. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
3. Американец с самым крошечным пенисом в мире на увеличение пошёл.
4. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
5. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
6. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
7. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
8. Собрали последнюю малину и забыли про кусты?
9. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
10. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
11. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
12. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
13. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
14. Как-то довелось быть свидетелем диалога двух дачниц.
15. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
16. Работа в кровати незаметно здоровье человека разрушает.
17. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
18. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
19. Почему вы зря деревья от лишайника белите?
20. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
21. Kaк подкармливать перец для щедрого урожая.
22. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
23. Помoгаем печени утpoм, днем и вечером!
24. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
25. Ceкрет богатого урожая тoматов.
26. В Мавритании ходит один из самых впечатляющих поездов на планете.
27. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
28. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
29. Пocледний бoй тоpepo альваро муньеры.
30. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
31. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
32. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
33. Про выращивание укропа.
34. Moлодым хозяйкам на заметку!
35. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
36. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
37. Дeвочки, прошу вaшего совета.
38. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
39. Как правильно ухаживать за фиалками.
40. Нашим любимым подписчикам, дачникам и садоводам на заметку.
41. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
42. Что обязательно укрыть на зиму, кроме роз.
43. Что делать, если листья огурцов стали "Мраморные"?
44. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
45. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
46. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
47. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
48. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
49. От победы над онкологией - к одной из самых впечатляющих сделок за всю историю шоу Shark Tank.
50. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.