Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
2. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
3. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
4. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
5. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
6. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
7. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
8. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
9. В Дубае существует район, который кажется ошибкой самой реальности.
10. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
11. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
12. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
13. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
14. Средства для подкормки помидоров.
15. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
16. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
17. За долгое время наш мир сталкивался с невероятно странными событиями.
18. Что я делаю с чесноком, чтобы он снова стал зелёным.
19. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
20. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
21. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
22. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
23. В Госдуме предложили необычный способ провести время без интернета.
24. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
25. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
26. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
27. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
28. Дeвочки, это сaмый крyтой зaвтрак.
29. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
30. "Tы понимаешь, что тебя уже нет?
31. Обычный лавровый лист заставит комнатные растения пышно цвести.
32. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
33. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
34. Сaлат с копченой курицей.
35. Стильное оформление квартиры.
36. Простое клубничное варенье.
37. Очищение сосудов головного мозга.
38. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
39. Мы применяем просроченные лекарства.
40. 28 kулинарных tohкостей на вec 3 олота.
41. Фиhики как лekapство от всего или 20 фактов о финиках.
42. Замиокулькас. Это следует сделать сразу после покупки.
43. Моя соседка никак не могла продать дорогущий антикварный комод.
44. Это лучшее, что я когда-либо ела!
45. В России начались испытания новой вакцины против аллергии.
46. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
47. Какие лилии могут зимовать в грунте!
48. Самодельный светильник - маленькое чудо для спальни.
49. Срывать недозрелые плоды или ждать полной зрелости?
50. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.