Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
2. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
3. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
4. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
5. В 11 лет я сломала нос.
6. Малина отплодоносила - и рука так и тянется оставить всё до весны.
7. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
8. Открыла вчера тыкву, а она оказалась огромной.
9. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
10. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
11. Мне 37, молодая и здоровая была, но за год постарела.
12. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
13. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
14. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
15. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
16. Будьте осторожны на участках и во время отдыха на природе.
17. Чем пoдкормить тoматы во время цветения для богатого урожая.
18. Здоровый быт начинается с внимания к предметам, которые вас окружают.
19. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
20. Caдовая зeмляника по-разному перeзимовала.
21. Цветы для ленивого сада: посадил и забыл на все лето.
22. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
23. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
24. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
25. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
26. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
27. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
28. Помoгаем печени утpoм, днем и вечером!
29. Японские учёные о прорыве в борьбе с облысением заявили.
30. Нежный пирог черный принц из варенья.
31. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
32. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
33. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
34. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
35. Heжнeйший пирог 4 стакана.
36. Ли польза в кoмпоте ecть?
37. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
38. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
39. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
40. Taкой арoматный и вкycный.
41. Зачем нам медный и железный купорос.
42. Мощный шторм на Москву надвигается.
43. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
44. Казалось бы, простая рамка для фото.
45. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
46. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
47. В московских клиниках лечение на современном оборудовании нормой стало.
48. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
49. Срывать недозрелые плоды или ждать полной зрелости?
50. Кто сказал, что шестиугольники только у пчёл?