Лайфхаки

Маленькие, полезные хитрости

Запросы при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
2. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
3. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
4. После уборки чеснока всегда остаются повреждённые головки.
5. С мужем поженились рано, родили дочку.
6. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
7. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
8. Пустая грядка в августе не обязана два месяца выращивать сорняки.
9. Депутат Горелкин слухи о блокировке Steam в России развеял.
10. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
11. Должны были с женой и родителями лететь на свадьбу сестры.
12. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
13. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
14. Формировка огурцов. 1. начинаю с нижней части.
15. Сделал тест днк на дочь - результат 0%.
16. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
17. Мастурбация у птиц абсолютно естественным поведением оказалась.
18. Роза осирия - магия двух оттенков.
19. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
20. Клубнику от долгоносика спасаю ещё до цветения.
21. Обычный поход в туалет потерей памяти закончился.
22. 10 худших цветов для дачи.
23. Архивные фото Ирины шейк из юности.
24. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
25. Кейсы в CS2 и паки Fifa предложили запретить в России.
26. 10 растений с белыми цветами.
27. Последний защитник брестской крепости.
28. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
29. Mышь в yлье.
30. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
31. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
32. Сыплю под Смородину весной по две ложки.
33. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
34. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
35. Магия пандоры. Аватары и актёры, которые воплотили их образы.
36. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
37. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
38. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
39. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
40. Моя соседка никак не могла продать дорогущий антикварный комод.
41. Помoщь для пeчени.
42. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
43. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
44. Полезная свекольная аджика на зиму.
45. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
46. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
47. Казалось бы, простая рамка для фото.
48. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
49. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
50. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?