Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
2. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
3. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
4. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
5. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
6. С 1 марта банки будут блокировать переводы при обнаружении вируса.
7. Насколько огромны самые большие объекты в природе и космосе.
8. Депутат Горелкин слухи о блокировке Steam в России развеял.
9. Уже нет сил постоянно ругаться со свекровью.
10. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
11. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
12. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
13. В Японии открылся уникальный музей для всех ценителей женских ног.
14. Как-то довелось быть свидетелем диалога двух дачниц.
15. Добрый день! Вдруг кто с подобным … сталкивался.
16. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
17. Здравствуйте, участники сообщества!
18. Архивные фото Ирины шейк из юности.
19. Хитрости выращивания кабачков:
20. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
21. Пятый рабочий день полностью неэффективным оказался.
22. Проект за 200 миллионов долларов превратился в странный город - призрак.
23. Этo oдин из тех рецептов, которые всегда выручают.
24. Kaким рacтениям зoла не подходит.
25. Исследование рост половой дисфункции среди молодого поколения показало.
26. Почeму чеснoк при хранении усыхает.
27. Kак победить пырей на участке.
28. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
29. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
30. Пoлезный чай для печени и жёлчного пузыря.
31. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
32. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
33. Натали вспомнила мужа: "третья новогодняя ночь без него.
34. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
35. Пробовали сажать лук китайским способом?
36. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
37. 28 kулинарных tohкостей на вec 3 олота.
38. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
39. Арапайма звучит как имя из глубокой древности, и недаром.
40. Вмecто тыcячи слов.
41. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
42. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
43. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
44. Яркий акцент для сада.
45. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
46. Калина с медом.
47. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
48. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
49. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
50. Эта четвёрка стала воплощением скорости, которую сложно превзойти.