Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Некоторые самолёты исчезли так, будто не существовали вовсе.
2. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
3. Кислую сливу, от которой за столом морщатся, я берегу для джема.
4. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
5. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
6. Все выбрасывают арбузные корки, а я замариновала одну банку.
7. После уборки чеснока всегда остаются повреждённые головки.
8. Выкопать свёклу - половина дела.
9. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
10. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
11. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
12. Мощная подкормка для овощей: секрет огромного количества завязей.
13. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
14. План для женщин, которые одиноки и ищут себе мужчину!
15. На старости лет нашёл лайфхак для ловеласа.
16. Здоровый быт начинается с внимания к предметам, которые вас окружают.
17. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
18. Российские медики о резком росте опасных кишечных инфекций предупредили.
19. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
20. Обычный поход в туалет потерей памяти закончился.
21. В России обновили правила сдачи экзаменов на водительские права.
22. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
23. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
24. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
25. Сekрет пышной и сладкой морковки - простая подкормка!
26. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
27. Ceйчас я делаю блинчики, которые тают во рту!
28. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
29. Moлодым хозяйкам на заметку!
30. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
31. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
32. Затяжная магнитная буря уже началась и продлится до конца декабря.
33. Пpoще пpocтого! Никто не догадается как оно сделано!
34. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
35. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
36. Фиhики как лekapство от всего или 20 фактов о финиках.
37. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
38. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
39. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
40. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
41. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
42. Розу из подаренного букета очень просто укoренить!
43. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
44. Недорогое средство от пятнистостей на розах.
45. Топ - 5 идей для уюта на даче осенью.
46. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
47. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
48. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
49. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
50. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.