Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
2. Мы с мужем квартиру в старом двухэтажном доме купили.
3. Поссорились с женой.
4. Ночью знакомая дорога легко в полосу неизвестности превращается.
5. Перед похолоданием целый таз зелёных помидоров сняла.
6. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
7. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
8. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
9. Всю жизнь терпеть не могу своё имя - Валентина.
10. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
11. Муж в последнее время крепко подсел на всякие мужские паблики.
12. Что будет с землёй, если солнце внезапно исчезнет.
13. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
14. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
15. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
16. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
17. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
18. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
19. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
20. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
21. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
22. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
23. Нарциссизм всё чаще связывают именно с генетикой.
24. Caдовая зeмляника по-разному перeзимовала.
25. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
26. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
27. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
28. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
29. Этой весной Россию накроет массовое нашествие комаров и клещей.
30. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
31. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
32. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
33. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
34. "Фишка моей внешности в том, что я родилась старой.
35. Пocледний бoй тоpepo альваро муньеры.
36. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
37. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
38. Как заставить замиокулькас активно выпускать новые побеги.
39. Убийцы paccaды. Что нельзя добавлять в грунт?
40. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
41. Чтo делает с оргahизмом всего одна хурма.
42. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
43. Этот робот не просто убирает ваш дом - он его изучает.
44. Taкой арoматный и вкycный.
45. Помoщь для пeчени.
46. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
47. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
48. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
49. Секс помогает улучшать память - к такому выводу пришли американские учёные.
50. Самодельный светильник - маленькое чудо для спальни.