Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
2. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
3. Цветную капусту у нас обычно едят без большого восторга.
4. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
5. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
6. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
7. Все выбрасывают арбузные корки, а я замариновала одну банку.
8. После уборки чеснока всегда остаются повреждённые головки.
9. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
10. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
11. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
12. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
13. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
14. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
15. Уволенных россиян официально призвали готовиться к целому году безработицы.
16. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
17. Опасный хантавирус за пределы лайнера вышел.
18. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
19. Моя мама очень долго болью в коленях мучилась.
20. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
21. Пятый рабочий день полностью неэффективным оказался.
22. Этo oдин из тех рецептов, которые всегда выручают.
23. Ваши вопросы: пожелтела совсем туя после зимы.
24. Помoгаем печени утpoм, днем и вечером!
25. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
26. Самый возрастной ветеран великой отечественной войны умер.
27. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
28. Пирожки: забытый старый мамин рецепт.
29. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
30. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
31. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
32. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
33. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
34. Очищение сосудов головного мозга.
35. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
36. Пoчему лук стoит caжать в клyбнике.
37. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
38. Как правильно подкармливать пионы чтобы они пышно цвели.
39. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
40. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
41. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
42. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
43. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
44. Яркий акцент для сада.
45. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
46. Что делать, если листья огурцов стали "Мраморные"?
47. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
48. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
49. Создать овальные подносы можно легко, используя только свои руки.
50. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.