Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Австралия остаётся единственным континентом, где природа пытается тебя убить.
2. Москвичка девять месяцев не подозревала, что носит ребёнка.
3. Природа каждый день показывает возможности, которые сложно представить.
4. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
5. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
6. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
7. Из одного кочана делаю целую сковороду капустных шницелей.
8. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
9. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
10. Яблок много - вроде радоваться надо.
11. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
12. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
13. Как правильно разделить и пересадить лилии: пошаговая инструкция.
14. На море вляпалась в курортный роман.
15. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
16. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
17. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
18. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
19. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
20. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
21. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
22. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
23. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
24. Нарциссизм всё чаще связывают именно с генетикой.
25. 10 худших цветов для дачи.
26. Сон при свете повышает риск ожирения.
27. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
28. Гигантский астероид скоро рядом с землёй пройдёт.
29. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
30. Hикогда не выpaщивайте tomаты и перец без этого!
31. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
32. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
33. Никогда не выращивайте томаты и перец без этого!
34. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
35. Сыплю под Смородину весной по две ложки.
36. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
37. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
38. Магия пандоры. Аватары и актёры, которые воплотили их образы.
39. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
40. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
41. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
42. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
43. Секрет пышной и сладкой морковки - простая подкормка!
44. Вот так выглядит архитектура, когда пространства почти не осталось.
45. Стильное оформление квартиры.
46. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
47. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
48. Рецепт плюшек: Ингредиенты для опары:
49. 28 kулинарных tohкостей на вec 3 олота.
50. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.