Лайфхаки

Маленькие, полезные хитрости

Защиты от блокировки

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мы с мужем квартиру в старом двухэтажном доме купили.
2. Моя свекровь в третий раз беременна.
3. Малина отплодоносила - и рука так и тянется оставить всё до весны.
4. Должны были с подружкой пойти в субботу на пробежку.
5. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
6. Муж в последнее время крепко подсел на всякие мужские паблики.
7. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
8. В нашей семье все склонны к полноте.
9. На старости лет нашёл лайфхак для ловеласа.
10. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
11. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
12. Северная Корея правила ядерного ответа страны изменила.
13. Подорожник на участке: пора проверять почву!
14. В Москве предупредили о возможных ограничениях связи.
15. Воля к жизни возможности человеческого тела превосходит.
16. Гигантский астероид скоро рядом с землёй пройдёт.
17. Всегда в путешествиях.
18. Kpaxмал и зола для смородины - секрет сладких ягод.
19. Горсть миндаля в день может заметно улучшить состояние кожи.
20. Топ - 7 наборов семян, которые должны быть у каждого!
21. Легенды мирового рока украсили фасады домов в елизаветино.
22. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
23. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
24. Kак победить пырей на участке.
25. Kaким растениям зола не подходит.
26. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
27. Этой весной Россию накроет массовое нашествие комаров и клещей.
28. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
29. "Фишка моей внешности в том, что я родилась старой.
30. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
31. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
32. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
33. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
34. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
35. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
36. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
37. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
38. Caлат с куpицeй и aнанасами.
39. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
40. Не пробовали посадить лук китайским способом?
41. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
42. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
43. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
44. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
45. Топ - 5 идей для уюта на даче осенью.
46. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
47. Что делать, если листья огурцов стали "Мраморные"?
48. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
49. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
50. Очень вкусная аджика на зиму!