Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Недавно с мужем заселились в съёмную квартиру.
2. Над Францией появились красные вспышки, похожие на корабли пришельцев.
3. Мы с мужем квартиру в старом двухэтажном доме купили.
4. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
5. Ночью знакомая дорога легко в полосу неизвестности превращается.
6. Некоторые самолёты исчезли так, будто не существовали вовсе.
7. Я в небогатой семье с двумя братьями росла.
8. Креветки, которые и улетают в первую очередь.
9. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
10. В 11 лет я сломала нос.
11. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
12. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
13. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
14. После уборки чеснока всегда остаются повреждённые головки.
15. Россияне снова смогут оформлять иммиграционные визы в США.
16. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
17. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
18. Самые абсурдные законы мира, в которые сложно поверить.
19. Яблок много - вроде радоваться надо.
20. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
21. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
22. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
23. Дeлaю yжe втopую нeдeлю.
24. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
25. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
26. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
27. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
28. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
29. Почему желтеет лук и чеснок и как быстро их "Оживить".
30. Архивные фото Ирины шейк из юности.
31. Работа в кровати незаметно здоровье человека разрушает.
32. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
33. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
34. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
35. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
36. Всем садоводам нужно знать.
37. Kaким растениям зола не подходит.
38. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
39. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
40. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
41. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
42. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
43. Про выращивание укропа.
44. Очищение сосудов головного мозга.
45. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
46. Уже давно делаю по этому рецепту!
47. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
48. Сердце в словах: почему мы так любим любовные романы
49. Срывать недозрелые плоды или ждать полной зрелости?
50. Кто сказал, что шестиугольники только у пчёл?