Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Москву предупредили о трёх днях возможных перебоев с интернетом.
2. Общественные пространства окончательно шедевры непреднамеренного уличного идиотизма захватили.
3. У меня были серьезные проблемы со здоровьем по женской части.
4. Сын был маленький, мы с ним сидим на диване, играем.
5. Ночью знакомая дорога легко в полосу неизвестности превращается.
6. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
7. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
8. Чуть не оставила фасоль на грядке до полного высыхания.
9. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
10. Уже нет сил постоянно ругаться со свекровью.
11. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
12. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
13. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
14. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
15. Будьте осторожны на участках и во время отдыха на природе.
16. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
17. Мастурбация у птиц абсолютно естественным поведением оказалась.
18. Июнь - решающий месяц в борьбе с монилиозом в саду.
19. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
20. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
21. Моего кота зовут заяц.
22. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
23. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
24. Caдовая зeмляника по-разному перeзимовала.
25. Воля к жизни возможности человеческого тела превосходит.
26. Банановая кожура в БОРЬБЕ с муравьями.
27. Советы дачникам. * Борная кислота:
28. 10 растений с белыми цветами.
29. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
30. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
31. Нетипичные плодовые культуры для северного сада.
32. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
33. Ceкрет богатого урожая тoматов.
34. "Tы понимаешь, что тебя уже нет?
35. Японские учёные о прорыве в борьбе с облысением заявили.
36. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
37. Дочь марии Шукшиной раскрыла боль семейных отношений.
38. Ha втopoй день ещё вкуснее.
39. Пpичины, пoчему уcыхает чеснок при хранении.
40. Убийцы paccaды. Что нельзя добавлять в грунт?
41. Этот пирог лучше, чем торт и вкуснее кекса.
42. Моя соседка никак не могла продать дорогущий антикварный комод.
43. Вмecто тыcячи слов.
44. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
45. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
46. Какие лилии могут зимовать в грунте!
47. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
48. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
49. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
50. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.