Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Российские банки смогут передавать личные данные клиентов сторонним компаниям без их согласия.
2. Бабушка маму родила уже за 30, во втором браке.
3. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
4. Родила дочь в свой день рождения.
5. Цветную капусту у нас обычно едят без большого восторга.
6. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
7. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
8. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
9. Сняли лук или ранний картофель и бросили голую грядку до весны?
10. В Дубае существует район, который кажется ошибкой самой реальности.
11. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
12. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
13. Дeлaю yжe втopую нeдeлю.
14. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
15. Роза осирия - магия двух оттенков.
16. Малина в июне в правильной подкормке нуждается.
17. Почему желтеет лук и чеснок и как быстро их "Оживить".
18. В России обновили правила сдачи экзаменов на водительские права.
19. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
20. Почему обеспеченные люди реже приложения для знакомств выбирают.
21. Всегда в путешествиях.
22. Почему нужно срезать верхушки у яблонь.
23. Мне 19 лет.
24. В Госдуме предложили необычный способ провести время без интернета.
25. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
26. Трещины на тротуарах превращаются в целые миры художника.
27. Домашний интернет в России начали ограничивать для активных пользователей.
28. Всем садоводам нужно знать.
29. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
30. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
31. Mышь в yлье.
32. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
33. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
34. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
35. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
36. Нашатырь можно как хорошую подкормку для лука использовать.
37. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
38. Яблоки очень уникальный продукт.
39. Caлат "Пиковая Дама".
40. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
41. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
42. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
43. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
44. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
45. Клубника на подоконнике - аромат лета круглый год!
46. Чем обработать теплицу осенью от болезней и вредителей?
47. Какие лилии могут зимовать в грунте!
48. Маленькая шпаргалка по томатам.
49. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
50. Эти малыши, размером 5-10 см.