Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
2. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
3. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
4. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
5. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
6. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
7. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
8. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
9. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
10. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
11. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
12. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
13. Маринованные огурцы с красной смородиной без уксуса.
14. Работаю в банке.
15. Формировка огурцов. 1. начинаю с нижней части.
16. Haтуральная защита капусты от вредителей.
17. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
18. Я любовник замужней женщины.
19. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
20. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
21. Российские медики о резком росте опасных кишечных инфекций предупредили.
22. Малина в июне в правильной подкормке нуждается.
23. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
24. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
25. Препараты от болезней томатов!
26. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
27. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
28. Почему вы зря деревья от лишайника белите?
29. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
30. Пepвая пoдкopмка рaccaды народными средствами.
31. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
32. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
33. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
34. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
35. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
36. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
37. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
38. Как заставить замиокулькас активно выпускать новые побеги.
39. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
40. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
41. Дaвно забытый peцепт из сссp.
42. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
43. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
44. Не пробовали посадить лук китайским способом?
45. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
46. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
47. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
48. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
49. 5 лучших подкормок для огорода - проверено на практике.
50. Как спасти огурцы от мучнистой росы.