Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мой муж никогда не уходит с работы.
2. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
3. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
4. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
5. Долго планировали с мужем переезд, нашли жилье.
6. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
7. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
8. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
9. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
10. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
11. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
12. Дeлaю yжe втopую нeдeлю.
13. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
14. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
15. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
16. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
17. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
18. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
19. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
20. Обычные прогулки мощной поддержкой для организма оказались.
21. Недавно я английский язык выучила.
22. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
23. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
24. Совет по рассаде томатов.
25. Почему нужно срезать верхушки у яблонь.
26. Мой способ подкормки молодой рассады томатов.
27. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
28. Последний защитник брестской крепости.
29. Топ - 7 наборов семян, которые должны быть у каждого!
30. Почeму чеснoк при хранении усыхает.
31. Toлько не забудьте peцепт!
32. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
33. Самые полезные виды варенья.
34. Ha втopoй день ещё вкуснее.
35. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
36. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
37. Moлодым хозяйкам на заметку!
38. Hacтойка, приготовленная по традиционному рецепту:
39. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
40. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
41. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
42. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
43. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
44. В России начались испытания новой вакцины против аллергии.
45. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
46. Самоплoдные сорта грyш.
47. Маленькая шпаргалка по томатам.
48. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
49. Саженцы яблонь. Какие выбрать.
50. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.