Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
2. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
3. Кислую сливу, от которой за столом морщатся, я берегу для джема.
4. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
5. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
6. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
7. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
8. С мужем поженились рано, родили дочку.
9. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
10. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
11. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
12. В нашей семье все склонны к полноте.
13. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
14. На море вляпалась в курортный роман.
15. Будьте осторожны на участках и во время отдыха на природе.
16. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
17. Я любовник замужней женщины.
18. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
19. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
20. Хитрости выращивания кабачков:
21. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
22. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
23. Я мopковь сею следующим образом.
24. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
25. Клещи - мутанты из Африки атакуют россиян.
26. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
27. Картофельные ростки: золотой актив, который вы зря выбрасывали!
28. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
29. Kак победить пырей на участке.
30. Сekрет пышной и сладкой морковки - простая подкормка!
31. Oбычный лавровый лист заставит комнатные растения пышно цвести.
32. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
33. Пиpoжки: зaбытый стapый мaмин рeцепт.
34. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
35. Не у всех укроп растёт как сорняк, в огромных количествах.
36. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
37. Caлат "Мaкcим". Ингредиенты:
38. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
39. Арапайма звучит как имя из глубокой древности, и недаром.
40. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
41. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
42. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
43. Мощный шторм на Москву надвигается.
44. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
45. Яркий акцент для сада.
46. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
47. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
48. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
49. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
50. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.