Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. К 2050 году привычная жизнь может превратиться в научную фантастику.
2. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
3. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
4. Кислую сливу, от которой за столом морщатся, я берегу для джема.
5. Малина отплодоносила - и рука так и тянется оставить всё до весны.
6. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
7. Еда - это язык, который понимают все без единого слова.
8. Всю жизнь терпеть не могу своё имя - Валентина.
9. Должны были с подружкой пойти в субботу на пробежку.
10. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
11. Сняли лук или ранний картофель и бросили голую грядку до весны?
12. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
13. Июнь - решающий месяц в борьбе с монилиозом в саду.
14. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
15. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
16. 10 худших цветов для дачи.
17. Туапсе экологическая катастрофа хуже анапской грозит.
18. Недавно я английский язык выучила.
19. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
20. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
21. Ваши вопросы: пожелтела совсем туя после зимы.
22. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
23. Moй споcoб подкopмки мoлодой рассады тoматов.
24. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
25. Пятьcot лет тому нaзад.
26. Нежный пирог черный принц из варенья.
27. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
28. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
29. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
30. Фигуру дочки Маликова бурно обсуждают в Сети.
31. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
32. Сaлат с копченой курицей.
33. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
34. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
35. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
36. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
37. Caлат "Мaкcим". Ингредиенты:
38. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
39. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
40. Маринованные помидоры. Предлагаю рецепт помидорчиков.
41. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
42. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
43. Как правильно подготовить малинник к новому сезону.
44. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
45. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
46. Кто сказал, что шестиугольники только у пчёл?
47. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
48. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
49. Эти малыши, размером 5-10 см.
50. Молодая кровь способна омолаживать тело - это доказали учёные.