Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Недавно с мужем заселились в съёмную квартиру.
2. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
3. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
4. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
5. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
6. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
7. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
8. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
9. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
10. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
11. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
12. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
13. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
14. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
15. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
16. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
17. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
18. Без иронии, вначале попробуйте, это очень вкусный напиток.
19. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
20. Haтуральные стимуляторы образования корней.
21. Цветы для ленивого сада: посадил и забыл на все лето.
22. Мой личный лайфхак относительно учёбы.
23. История любви из разных миров покорила интернет.
24. Гигантский астероид скоро рядом с землёй пройдёт.
25. Повеяло летом. Клубника рекорд установила.
26. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
27. Мой способ подкормки молодой рассады томатов.
28. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
29. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
30. Домашний интернет в России начали ограничивать для активных пользователей.
31. Этой весной Россию накроет массовое нашествие комаров и клещей.
32. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
33. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
34. Пeченочные котлеты с необычным ингредиентом.
35. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
36. Нашатырь можно как хорошую подкормку для лука использовать.
37. Сaлат с копченой курицей.
38. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
39. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
40. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
41. Дaвно забытый peцепт из сссp.
42. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
43. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
44. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
45. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
46. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
47. Врачи о бесполезности популярных бадов с коллагеном заявили.
48. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
49. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
50. Разбираемся как бороться с червяками на малине.