Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Москву предупредили о трёх днях возможных перебоев с интернетом.
2. На краю Атлантики спряталась деревня, в которой живут всего около 70 человек.
3. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
4. Удивительные товарищи всё-таки - родственнички.
5. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
6. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
7. Цветную капусту у нас обычно едят без большого восторга.
8. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
9. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
10. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
11. Открыла вчера тыкву, а она оказалась огромной.
12. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
13. Насколько огромны самые большие объекты в природе и космосе.
14. Должны были с женой и родителями лететь на свадьбу сестры.
15. Вынуждена была уехать на лечение на месяц в другую страну.
16. Мне 37, молодая и здоровая была, но за год постарела.
17. Серая гниль на розах - гадость мерзостная.
18. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
19. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
20. Современный гейминг оказался исключительно полезен для человеческой психики.
21. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
22. Мощная подкормка для овощей: секрет огромного количества завязей.
23. Экзамен по философии сдавала.
24. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
25. Здоровый быт начинается с внимания к предметам, которые вас окружают.
26. Июнь - решающий месяц в борьбе с монилиозом в саду.
27. Российские медики о резком росте опасных кишечных инфекций предупредили.
28. Так томаты в теплицу не просто так высаживают.
29. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
30. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
31. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
32. Чем подкормить рассаду перца для мощных корней.
33. Kaким растениям зола не подходит.
34. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
35. Японские учёные о прорыве в борьбе с облысением заявили.
36. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
37. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
38. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
39. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
40. Стильное оформление квартиры.
41. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
42. Фильм, который меняет стереотипное представление об атомной энергетике.
43. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
44. Замиокулькас. Это следует сделать сразу после покупки.
45. Taкой арoматный и вкycный.
46. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
47. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
48. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
49. Маленькие, но важные детали делают интерьер особенным.
50. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.