Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
2. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
3. С мужем вместе уже 10 лет.
4. Соседка уже спрашивает, когда будем сажать озимый чеснок.
5. С мужем поженились рано, родили дочку.
6. Еда - это язык, который понимают все без единого слова.
7. Пустая грядка в августе не обязана два месяца выращивать сорняки.
8. Баклажаны отдельно не жарю.
9. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
10. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
11. Что будет с землёй, если солнце внезапно исчезнет.
12. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
13. Дeлaю yжe втopую нeдeлю.
14. На море вляпалась в курортный роман.
15. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
16. Экзамен по философии сдавала.
17. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
18. История доказывает, что многие теории заговора со временем становятся фактами.
19. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
20. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
21. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
22. Завязей на томатах будет море, а фитофтора обойдёт стороной.
23. Обычный поход в туалет потерей памяти закончился.
24. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
25. Мне 19 лет.
26. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
27. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
28. Последний защитник брестской крепости.
29. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
30. Трещины на тротуарах превращаются в целые миры художника.
31. Легенды мирового рока украсили фасады домов в елизаветино.
32. Картофельные ростки: золотой актив, который вы зря выбрасывали!
33. Дeвочки, это сaмый крyтой зaвтрак.
34. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
35. Coветы для тoго, чтoбы получить крупную малину.
36. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
37. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
38. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
39. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
40. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
41. Как правильно ухаживать за фиалками.
42. Врачи о бесполезности популярных бадов с коллагеном заявили.
43. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
44. Полезная свекольная аджика на зиму.
45. Секс помогает улучшать память - к такому выводу пришли американские учёные.
46. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
47. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
48. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
49. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
50. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.