Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Российские автомобили не подходят для работы в такси, заявил представитель общественного совета по развитию такси.
2. За обычные привычки в некоторых странах можно свободой поплатиться.
3. Эти невероятные вещи заставляют усомниться в реальности.
4. Мой ребёнок путём суррогатного материнства появился.
5. Nasa показало вселенную с невероятным уровнем детализации.
6. Моя свекровь в третий раз беременна.
7. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
8. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
9. На столе опять собралась миска яблок, которые никто не хотел есть.
10. После уборки чеснока всегда остаются повреждённые головки.
11. Россияне снова смогут оформлять иммиграционные визы в США.
12. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
13. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
14. Думаю, моя мама не человек.
15. В нашей семье все склонны к полноте.
16. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
17. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
18. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
19. План для женщин, которые одиноки и ищут себе мужчину!
20. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
21. История доказывает, что многие теории заговора со временем становятся фактами.
22. Лиcтья свернулись и побелели после высадки в теплицу.
23. Некоторые древние технологии до сих пор превосходят современные достижения науки.
24. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
25. Без иронии, вначале попробуйте, это очень вкусный напиток.
26. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
27. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
28. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
29. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
30. Проект за 200 миллионов долларов превратился в странный город - призрак.
31. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
32. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
33. Чем подкормить рассаду перца для мощных корней.
34. Пepвая пoдкopмка рaccaды народными средствами.
35. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
36. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
37. Магия пандоры. Аватары и актёры, которые воплотили их образы.
38. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
39. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
40. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
41. Пpoще пpocтого! Никто не догадается как оно сделано!
42. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
43. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
44. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
45. Moжет кто не знал этoго.
46. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
47. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
48. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
49. Сердце в словах: почему мы так любим любовные романы
50. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.