Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Новенькие Iphone Duo начали ломаться прямо на глазах покупателей.
2. Лоис гибсон превратила карандаш в инструмент поимки преступников.
3. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
4. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
5. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
6. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
7. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
8. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
9. Открыла вчера тыкву, а она оказалась огромной.
10. Выкопать свёклу - половина дела.
11. Муж спросил, когда я сильнее всего пугалась в жизни.
12. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
13. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
14. Насколько огромны самые большие объекты в природе и космосе.
15. Депутат Горелкин слухи о блокировке Steam в России развеял.
16. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
17. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
18. Цветы на томатах есть, а завязи нет: что я делаю в жару.
19. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
20. Найти хорошую работу в России становится практически невозможно для большинства граждан.
21. Дочку с самого детства учила нести ответственность за свои поступки.
22. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
23. Добрый день! Вдруг кто с подобным … сталкивался.
24. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
25. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
26. Почему желтеет лук и чеснок и как быстро их "Оживить".
27. 10 худших цветов для дачи.
28. В Москве предупредили о возможных ограничениях связи.
29. Туапсе экологическая катастрофа хуже анапской грозит.
30. Этo oдин из тех рецептов, которые всегда выручают.
31. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
32. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
33. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
34. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
35. Домашний интернет в России начали ограничивать для активных пользователей.
36. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
37. Сekрет пышной и сладкой морковки - простая подкормка!
38. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
39. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
40. Фигуру дочки Маликова бурно обсуждают в Сети.
41. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
42. Секрет пышной и сладкой морковки - простая подкормка!
43. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
44. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
45. Kapтошка под соломой - мoй любимый спocoб пocaдки!
46. С утра иногда так хочется выпить ароматного бодрящего кофе.
47. Как правильно подготовить малинник к новому сезону.
48. Создавать своими руками - значит делать вещи особенными.
49. Пергола - это не просто арка или навес.
50. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.