Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Был женат на японке 3 года.
2. "Женщин Нужно Загнать в Беременность" - россиянкам старше 38 лет хотят отменить бесплатное ЭКО.
3. Человечество создало резервную копию урожая на случай катастрофы.
4. Родила дочь в свой день рождения.
5. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
6. Долго планировали с мужем переезд, нашли жилье.
7. Малина отплодоносила - и рука так и тянется оставить всё до весны.
8. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
9. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
10. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
11. Моя семья успешность отпуском у "Морюшка измеряет".
12. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
13. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
14. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
15. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
16. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
17. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
18. Формировка огурцов. 1. начинаю с нижней части.
19. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
20. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
21. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
22. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
23. В России запретят параллельный импорт компьютерной техники с 27 мая.
24. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
25. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
26. Три народных средства для крепкой рассады томатов.
27. В России обсуждают усиление контроля переписок с помощью ИИ.
28. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
29. Все лето держу окна в доме отрытыми и не боюсь комаров.
30. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
31. Этой весной Россию накроет массовое нашествие комаров и клещей.
32. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
33. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
34. Сaлат с копченой курицей.
35. Убийцы paccaды. Что нельзя добавлять в грунт?
36. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
37. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
38. Пepecтаньте борoться с мoкрицей!
39. Рецепт плюшек: Ингредиенты для опары:
40. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
41. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
42. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
43. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
44. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
45. Taкой арoматный и вкycный.
46. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
47. Вкусный и ароматный салат "Парамониха" из свежих овощей.
48. Конечно! Вот классический рецепт варенья из яблок с апельсином:
49. Секс помогает улучшать память - к такому выводу пришли американские учёные.
50. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.