Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
2. Российские банки смогут передавать личные данные клиентов сторонним компаниям без их согласия.
3. Недавно с мужем заселились в съёмную квартиру.
4. Над Францией появились красные вспышки, похожие на корабли пришельцев.
5. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
6. Бабушка маму родила уже за 30, во втором браке.
7. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
8. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
9. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
10. Долго планировали с мужем переезд, нашли жилье.
11. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
12. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
13. Пустая грядка в августе не обязана два месяца выращивать сорняки.
14. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
15. Яблок много - вроде радоваться надо.
16. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
17. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
18. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
19. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
20. Будьте осторожны на участках и во время отдыха на природе.
21. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
22. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
23. Роза осирия - магия двух оттенков.
24. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
25. Обычный поход в туалет потерей памяти закончился.
26. Мой личный лайфхак относительно учёбы.
27. Туапсе экологическая катастрофа хуже анапской грозит.
28. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
29. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
30. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
31. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
32. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
33. Клещи - мутанты из Африки атакуют россиян.
34. Горсть миндаля в день может заметно улучшить состояние кожи.
35. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
36. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
37. Пepвая пoдкopмка рaccaды народными средствами.
38. Нежный пирог черный принц из варенья.
39. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
40. Ceйчас я делаю блинчики, которые тают во рту!
41. Она растёт в каждом саду и называется ведьмина трава.
42. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
43. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
44. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
45. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
46. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
47. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
48. В России отложили введение нового утильсбора для автомобилей.
49. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
50. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.