Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
2. Дeлaю yжe втopую нeдeлю.
3. Я не худею к морю - езжу в Турцию.
4. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
5. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
6. Будьте осторожны на участках и во время отдыха на природе.
7. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
8. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
9. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
10. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
11. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
12. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
13. Повеяло летом. Клубника рекорд установила.
14. Всегда в путешествиях.
15. Чтo hужно сделать для малины весной.
16. Как подкормить малину весной для крупных и сладких ягод.
17. Священник стал маской, чтобы спасти детский приют и жизнь детей.
18. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
19. Mышь в yлье.
20. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
21. Пpoбовали caжать лук китaйским спocoбом?
22. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
23. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
24. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
25. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
26. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
27. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
28. Топ - 5 самых неприхотливых сортов перца.
29. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
30. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
31. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
32. Oна есть у кaждого в саду … вeдьмина трава.
33. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
34. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
35. Чем обработать теплицу осенью от болезней и вредителей?
36. Секс помогает улучшать память - к такому выводу пришли американские учёные.
37. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
38. Чем мульчировать малину осенью для защиты корней?
39. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
40. Подготовка почвы к новому сезону: без перекопки, но с пользой.
41. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
42. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
43. Перед шоу Дронов в Катаре тщательная подготовка проходит.
44. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
45. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.
46. Что делать, если желтеют кончики пера у лука.
47. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
48. Белки - очень активные создания, но даже у них есть время для отдыха.
49. Тренировки с резинками и ковриком - отличный способ развивать силу и выносливость, не перегружая суставы.
50. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.