Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
2. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
3. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
4. Родила старшую дочку в 17 лет.
5. Джем из кабачка и кураги сварила.
6. Малина отплодоносила - и рука так и тянется оставить всё до весны.
7. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
8. Мы с мужем очень сильно поругались, решили разводиться.
9. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
10. Думаю, моя мама не человек.
11. Серая гниль на розах - гадость мерзостная.
12. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
13. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
14. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
15. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
16. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
17. Обычные прогулки мощной поддержкой для организма оказались.
18. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
19. В Москве предупредили о возможных ограничениях связи.
20. Недавно я английский язык выучила.
21. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
22. Здравствуйте, oбращаюсь анoнимнo.
23. Повеяло летом. Клубника рекорд установила.
24. Пятый рабочий день полностью неэффективным оказался.
25. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
26. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
27. Когда вид на озеро главным элементом проекта дома становится.
28. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
29. Джим Керри и теория клона: что произошло на самом деле?
30. Toлько не забудьте peцепт!
31. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
32. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
33. Японские учёные о прорыве в борьбе с облысением заявили.
34. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
35. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
36. Фигуру дочки Маликова бурно обсуждают в Сети.
37. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
38. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
39. Как правильно ухаживать за фиалками.
40. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
41. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
42. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
43. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
44. Это лучшее, что я когда-либо ела!
45. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
46. Яркий акцент для сада.
47. Маленькая шпаргалка по томатам.
48. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
49. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
50. Срывать недозрелые плоды или ждать полной зрелости?