Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
2. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
3. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
4. Кислую сливу, от которой за столом морщатся, я берегу для джема.
5. После уборки чеснока всегда остаются повреждённые головки.
6. Всю жизнь терпеть не могу своё имя - Валентина.
7. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
8. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
9. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
10. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
11. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
12. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
13. Переехали за город, как давно мечтали.
14. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
15. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
16. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
17. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
18. План для женщин, которые одиноки и ищут себе мужчину!
19. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
20. Средства для подкормки помидоров.
21. Я любовник замужней женщины.
22. Добрый день! Вдруг кто с подобным … сталкивался.
23. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
24. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
25. Так томаты в теплицу не просто так высаживают.
26. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
27. Препараты от болезней томатов!
28. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
29. Одни из первых протезов использовали ещё в эпоху древнего Рима.
30. Священник стал маской, чтобы спасти детский приют и жизнь детей.
31. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
32. Топ - 10 теневыносливых растений для вашего сада.
33. Трещины на тротуарах превращаются в целые миры художника.
34. Oгурцы будете рaздавать всем coceдям.
35. Hикогда не ставьте забор обратной стороной к соседу!
36. Пoлезный чай для печени и жёлчного пузыря.
37. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
38. Как заставить замиокулькас активно выпускать новые побеги.
39. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
40. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
41. Начинайте готовить ягодные кустарники к зимовке.
42. Березовый деготь в помощь дачникy.
43. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
44. Малина ведрами. Как удается получать такой урожай?
45. Учёные в вейпах следы фекалий обнаружили.
46. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
47. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
48. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
49. Начинайте готовить ягодные кустарники к холодам.
50. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.