Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
2. Открыла вчера тыкву, а она оказалась огромной.
3. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
4. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
5. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
6. Думаю, моя мама не человек.
7. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
8. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
9. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
10. Формировка огурцов. 1. начинаю с нижней части.
11. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
12. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
13. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
14. Петербургские депутаты предложили изменить школьную программу полового воспитания.
15. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
16. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
17. Завязей на томатах будет море, а фитофтора обойдёт стороной.
18. Нарциссизм всё чаще связывают именно с генетикой.
19. Обычный поход в туалет потерей памяти закончился.
20. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
21. Опилки на грядках: бесплатное золото или яд для урожая?
22. В популярных духах обнаружили потенциально опасные вещества.
23. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
24. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
25. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
26. Гигантский астероид скоро рядом с землёй пройдёт.
27. Почему нужно срезать верхушки у яблонь.
28. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
29. Картофельные ростки: золотой актив, который вы зря выбрасывали!
30. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
31. Пoлезный чай для печени и жёлчного пузыря.
32. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
33. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
34. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
35. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
36. Замечательный закусочный торт из нежной куриной грудки!
37. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
38. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
39. Не пробовали посадить лук китайским способом?
40. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
41. Мощный шторм на Москву надвигается.
42. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
43. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
44. Нашим любимым подписчикам, дачникам и садоводам на заметку.
45. Полезная свекольная аджика на зиму.
46. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
47. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
48. Создавать своими руками - значит делать вещи особенными.
49. Пергола - это не просто арка или навес.
50. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.