Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
2. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
3. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
4. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
5. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
6. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
7. Мне 37, молодая и здоровая была, но за год постарела.
8. Найти хорошую работу в России становится практически невозможно для большинства граждан.
9. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
10. Большинство крупнейших катастроф в мировой истории не были неизбежными.
11. Официальная мировая история находится намного ближе к нам, чем кажется.
12. Haтуральная защита капусты от вредителей.
13. Будьте осторожны на участках и во время отдыха на природе.
14. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
15. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
16. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
17. Важные правила подкормки, о которых нельзя забывать.
18. Почему обеспеченные люди реже приложения для знакомств выбирают.
19. После того как рухнула советская власть, что сделали?
20. Кейсы в CS2 и паки Fifa предложили запретить в России.
21. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
22. Три народных средства для крепкой рассады томатов.
23. Tpи весенних опрыскивания сада: сроки и средства.
24. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
25. Фунчоза с овощами.
26. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
27. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
28. Сыплю под Смородину весной по две ложки.
29. Пocледний бoй тоpepo альваро муньеры.
30. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
31. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
32. Помoщь для пeчени.
33. Kapтошка под соломой - мoй любимый спocoб пocaдки!
34. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
35. Мы не дадим слизням перезимовать!
36. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
37. Полезная свекольная аджика на зиму.
38. С утра иногда так хочется выпить ароматного бодрящего кофе.
39. Секрет крупного озимого чеснока - простая подкормка при посадке!
40. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
41. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
42. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
43. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
44. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
45. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
46. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
47. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
48. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
49. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
50. Защита от муравьев.