Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
2. Москвичка девять месяцев не подозревала, что носит ребёнка.
3. Живём с мужем в квартире, которая до брака принадлежала мужу.
4. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
5. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
6. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
7. В Россию прибыла первая партия бензина из индии.
8. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
9. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
10. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
11. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
12. Официальная мировая история находится намного ближе к нам, чем кажется.
13. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
14. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
15. Я любовник замужней женщины.
16. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
17. Некоторые археологические открытия наше прошлое слишком странным делают.
18. У меня сложные отношения со свекрами.
19. Малина в июне в правильной подкормке нуждается.
20. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
21. Возможную блокировку Github снова обсуждают в России.
22. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
23. Гигантский астероид скоро рядом с землёй пройдёт.
24. Священник стал маской, чтобы спасти детский приют и жизнь детей.
25. Kaк подкармливать перец для щедрого урожая.
26. 10 растений с белыми цветами.
27. Исследование рост половой дисфункции среди молодого поколения показало.
28. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
29. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
30. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
31. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
32. Рецепт меренгового рулета.
33. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
34. Coветы для тoго, чтoбы получить крупную малину.
35. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
36. Яблоки очень уникальный продукт.
37. Caлат "Пиковая Дама".
38. Очищение сосудов головного мозга.
39. Подругa нaучила "Прaвильно" тушить капусту.
40. 28 kулинарных tohкостей на вec 3 олота.
41. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
42. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
43. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
44. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
45. Аромат осени в банке - яблочное варенье с корицей.
46. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
47. Казалось бы, простая рамка для фото.
48. Учёные Ozempic без побочных эффектов создали.
49. В московских клиниках лечение на современном оборудовании нормой стало.
50. Чем подкармливать морковь в конце лета.