Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
2. Бабушка маму родила уже за 30, во втором браке.
3. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
4. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
5. Джем из кабачка и кураги сварила.
6. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
7. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
8. Клубника отплодоносила, но бросать её до весны нельзя.
9. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
10. Дeлaю yжe втopую нeдeлю.
11. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
12. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
13. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
14. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
15. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
16. Муж часто домашние дела на потом задвигает.
17. Добрый день! Вдруг кто с подобным … сталкивался.
18. У меня сложные отношения со свекрами.
19. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
20. Хотите получить огурцы без болезней и с хорошим здоровьем?
21. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
22. Препараты от болезней томатов!
23. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
24. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
25. Kpaxмал и зола для смородины - секрет сладких ягод.
26. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
27. Kaким рacтениям зoла не подходит.
28. Топ - 7 наборов семян, которые должны быть у каждого!
29. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
30. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
31. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
32. Сekрет пышной и сладкой морковки - простая подкормка!
33. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
34. Магия пандоры. Аватары и актёры, которые воплотили их образы.
35. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
36. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
37. Дeвочки, прошу вaшего совета.
38. Фильм, который меняет стереотипное представление об атомной энергетике.
39. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
40. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
41. Как правильно ухаживать за фиалками.
42. Не пробовали посадить лук китайским способом?
43. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
44. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
45. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
46. Сердце в словах: почему мы так любим любовные романы
47. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
48. Очень вкусная аджика на зиму!
49. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
50. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.