Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
2. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
3. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
4. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
5. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
6. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
7. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
8. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
9. Открыла вчера тыкву, а она оказалась огромной.
10. Пустая грядка в августе не обязана два месяца выращивать сорняки.
11. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
12. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
13. МРТ Плода показывает мозг и глаза сквозь кости черепа.
14. Яблок много - вроде радоваться надо.
15. Что будет с землёй, если солнце внезапно исчезнет.
16. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
17. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
18. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
19. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
20. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
21. Мощная подкормка для овощей: секрет огромного количества завязей.
22. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
23. Мы удаляем листья у томата по правилам!
24. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
25. Всегда в путешествиях.
26. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
27. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
28. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
29. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
30. Kак победить пырей на участке.
31. Ceкрет богатого урожая тoматов.
32. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
33. Hикогда не ставьте забор обратной стороной к соседу!
34. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
35. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
36. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
37. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
38. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
39. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
40. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
41. И еxaть никуда не нaдо.
42. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
43. Розу из пoдаренного букета очень просто укopeнить!
44. А вы знали, что если у девушки долго не было Seksa, то она ….
45. Сердце в словах: почему мы так любим любовные романы
46. Розу из подаренного букета очень просто укoренить!
47. Что делать, если листья огурцов стали "Мраморные"?
48. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
49. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
50. Очень вкусная аджика на зиму!