Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Креветки, которые и улетают в первую очередь.
2. Международные тесты официально признали современных подростков самым деградирующим поколением в истории.
3. Чуть не оставила фасоль на грядке до полного высыхания.
4. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
5. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
6. После уборки чеснока всегда остаются повреждённые головки.
7. С мужем поженились рано, родили дочку.
8. МРТ Плода показывает мозг и глаза сквозь кости черепа.
9. Моя семья успешность отпуском у "Морюшка измеряет".
10. Насколько огромны самые большие объекты в природе и космосе.
11. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
12. Маринованные огурцы с красной смородиной без уксуса.
13. Дочку с самого детства учила нести ответственность за свои поступки.
14. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
15. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
16. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
17. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
18. У меня сложные отношения со свекрами.
19. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
20. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
21. Хитрости выращивания кабачков:
22. Почему вы зря деревья от лишайника белите?
23. Кейсы в CS2 и паки Fifa предложили запретить в России.
24. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
25. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
26. Нетипичные плодовые культуры для северного сада.
27. Дeвочки, это сaмый крyтой зaвтрак.
28. Oгурцы будете рaздавать всем coceдям.
29. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
30. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
31. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
32. Фигуру дочки Маликова бурно обсуждают в Сети.
33. Лепешки на кефире с начинкой.
34. Топ - 5 самых неприхотливых сортов перца.
35. Натали вспомнила мужа: "третья новогодняя ночь без него.
36. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
37. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
38. Березовый деготь в помощь дачникy.
39. Уже давно делаю по этому рецепту!
40. Учёные в вейпах следы фекалий обнаружили.
41. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
42. Работа над настенной полкой своими руками успехом завершилась.
43. Как избавиться от грызунов на даче простыми средствами.
44. Секрет крупного озимого чеснока - простая подкормка при посадке!
45. Создавать своими руками - значит делать вещи особенными.
46. Топ - 5 идей для уюта на даче осенью.
47. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
48. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
49. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
50. Молодая кровь способна омолаживать тело - это доказали учёные.