Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Трамп добился новой отсрочки лотереи грин-карт DV - 2027 через суд.
2. "Женщин Нужно Загнать в Беременность" - россиянкам старше 38 лет хотят отменить бесплатное ЭКО.
3. На земле существуют места, которые выглядят как ошибка реальности.
4. Эти невероятные вещи заставляют усомниться в реальности.
5. Живём с мужем в квартире, которая до брака принадлежала мужу.
6. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
7. Мой ребёнок путём суррогатного материнства появился.
8. Креветки, которые и улетают в первую очередь.
9. Удивительные товарищи всё-таки - родственнички.
10. Родила старшую дочку в 17 лет.
11. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
12. После аварии моего мужа ниже пояса парализовало.
13. С мужем вместе уже 10 лет.
14. С мужем поженились рано, родили дочку.
15. Баклажаны отдельно не жарю.
16. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
17. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
18. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
19. "Обожаю" родню, кто бы знал ….
20. Мне 37, молодая и здоровая была, но за год постарела.
21. Найти хорошую работу в России становится практически невозможно для большинства граждан.
22. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
23. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
24. Мы удаляем листья у томата по правилам!
25. Моего кота зовут заяц.
26. Муж часто домашние дела на потом задвигает.
27. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
28. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
29. С 1 сентября в России планируют обновить перечень медицинских специальностей.
30. Сон при свете повышает риск ожирения.
31. Повеяло летом. Клубника рекорд установила.
32. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
33. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
34. Как подкормить малину весной для крупных и сладких ягод.
35. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
36. Когда вид на озеро главным элементом проекта дома становится.
37. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
38. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
39. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
40. Лепешки на кефире с начинкой.
41. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
42. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
43. Березовый деготь в помощь дачникy.
44. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
45. Мы удобряeм сливу правильно!
46. Как правильно ухаживать за фиалками.
47. Моя соседка никак не могла продать дорогущий антикварный комод.
48. Мы не дадим слизням перезимовать!
49. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
50. Красивые садовые дорожки своими руками.