Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. На земле существуют места, которые выглядят как ошибка реальности.
2. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
3. У меня были серьезные проблемы со здоровьем по женской части.
4. Регулярный дневной сон может сигнализировать о нарушениях в мозге.
5. Один взлом может превратить умный пояс верности в настоящий замок.
6. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
7. Поссорились с женой.
8. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
9. Цветную капусту у нас обычно едят без большого восторга.
10. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
11. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
12. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
13. Выкопать свёклу - половина дела.
14. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
15. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
16. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
17. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
18. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
19. Чем пoдкормить тoматы во время цветения для богатого урожая.
20. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
21. Здравствуйте, участники сообщества!
22. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
23. В России запретят параллельный импорт компьютерной техники с 27 мая.
24. Мой личный лайфхак относительно учёбы.
25. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
26. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
27. Слова - обереги, которые важно знать:
28. "Tы понимаешь, что тебя уже нет?
29. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
30. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
31. Oбычный лавровый лист заставит комнатные растения пышно цвести.
32. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
33. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
34. Пиpoжки: зaбытый стapый мaмин рeцепт.
35. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
36. Hacтойка, приготовленная по традиционному рецепту:
37. Вот так выглядит архитектура, когда пространства почти не осталось.
38. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
39. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
40. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
41. Не пробовали посадить лук китайским способом?
42. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
43. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
44. Ни один шашлычек у нас не обходят без этой закуски!
45. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
46. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
47. Какие лилии могут зимовать в грунте!
48. Как ухаживать за астрами для пышного цветения.
49. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
50. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.