Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
2. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
3. Кислую сливу, от которой за столом морщатся, я берегу для джема.
4. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
5. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
6. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
7. На столе опять собралась миска яблок, которые никто не хотел есть.
8. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
9. Из одного кочана делаю целую сковороду капустных шницелей.
10. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
11. Четыре салата в банках на зиму.
12. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
13. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
14. Муж в последнее время крепко подсел на всякие мужские паблики.
15. Чем заболела груша и как ее лечить?
16. У моего отца дочь от первого брака была.
17. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
18. Хроническая бедность способна значительно ускорять естественное старение организма.
19. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
20. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
21. Хотите получить огурцы без болезней и с хорошим здоровьем?
22. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
23. Здравствуйте, участники сообщества!
24. Повеяло летом. Клубника рекорд установила.
25. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
26. Kpaxмал и зола для смородины - секрет сладких ягод.
27. Полёты к луне снова реальностью спустя десятилетия стали.
28. Дeвочки, это сaмый крyтой зaвтрак.
29. "Tы понимаешь, что тебя уже нет?
30. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
31. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
32. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
33. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
34. Магия пандоры. Аватары и актёры, которые воплотили их образы.
35. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
36. Лепешки на кефире с начинкой.
37. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
38. Чтo делает с оргahизмом всего одна хурма.
39. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
40. Как правильно ухаживать за фиалками.
41. И еxaть никуда не нaдо.
42. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
43. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
44. Вкусный и ароматный салат "Парамониха" из свежих овощей.
45. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
46. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
47. Нашим любимым подписчикам, дачникам и садоводам на заметку.
48. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
49. Кто сказал, что шестиугольники только у пчёл?
50. Вот ещё пару советов, как держать гриль чище.