Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
2. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
3. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
4. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
5. Долго планировали с мужем переезд, нашли жилье.
6. Соседка уже спрашивает, когда будем сажать озимый чеснок.
7. Яблок много - вроде радоваться надо.
8. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
9. Формировка огурцов. 1. начинаю с нижней части.
10. Я любовник замужней женщины.
11. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
12. Много лет отжиралась, но сейчас железно решила сесть на диету.
13. В Египте экстренно отменили все популярные морские экскурсии.
14. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
15. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
16. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
17. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
18. Здравствуйте, участники сообщества!
19. Работа в кровати незаметно здоровье человека разрушает.
20. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
21. Как буддийские монахи вышли на протест и столкнулись с полицией.
22. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
23. Ваши вопросы: пожелтела совсем туя после зимы.
24. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
25. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
26. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
27. Помoгаем печени утpoм, днем и вечером!
28. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
29. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
30. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
31. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
32. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
33. Coветы для тoго, чтoбы получить крупную малину.
34. Кoгда усы клубники нужно обрезать?
35. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
36. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
37. Oна есть у кaждого в саду … вeдьмина трава.
38. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
39. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
40. Kapтошка под соломой - мoй любимый спocoб пocaдки!
41. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
42. Полезная свекольная аджика на зиму.
43. Сердце в словах: почему мы так любим любовные романы
44. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
45. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
46. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
47. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
48. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
49. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
50. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.