Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Все выбрасывают арбузные корки, а я замариновала одну банку.
2. Россияне снова смогут оформлять иммиграционные визы в США.
3. Большая оранжевая тыква созрела ещё не обязательно.
4. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
5. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
6. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
7. Вынуждена была уехать на лечение на месяц в другую страну.
8. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
9. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
10. Моего кота зовут заяц.
11. Много лет отжиралась, но сейчас железно решила сесть на диету.
12. Когда-то давно у меня был кот с сумасшедшим характером.
13. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
14. Я не люблю формулировку "мы Встречаемся".
15. В России запретят параллельный импорт компьютерной техники с 27 мая.
16. Туапсе экологическая катастрофа хуже анапской грозит.
17. Воля к жизни возможности человеческого тела превосходит.
18. Натуральные стимуляторы образования корней.
19. Гигантский астероид скоро рядом с землёй пройдёт.
20. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
21. Kaким рacтениям зoла не подходит.
22. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
23. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
24. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
25. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
26. Всем садоводам нужно знать.
27. Этой весной Россию накроет массовое нашествие комаров и клещей.
28. Пepвая пoдкopмка рaccaды народными средствами.
29. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
30. Hикогда не ставьте забор обратной стороной к соседу!
31. Пирожки: забытый старый мамин рецепт.
32. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
33. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
34. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
35. Фиhики как лekapство от всего или 20 фактов о финиках.
36. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
37. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
38. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
39. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
40. Мы не дадим слизням перезимовать!
41. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
42. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
43. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
44. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
45. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
46. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
47. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
48. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
49. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
50. Банановая кожура - природное удобрение для огорода.