Лайфхаки

Маленькие, полезные хитрости

Ip-адреса при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. С 1 марта банки будут блокировать переводы при обнаружении вируса.
2. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
3. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
4. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
5. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
6. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
7. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
8. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
9. С 1 сентября в России планируют обновить перечень медицинских специальностей.
10. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
11. Я не люблю формулировку "мы Встречаемся".
12. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
13. Мне 19 лет.
14. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
15. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
16. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
17. 1941 год. Украина, первые месяцы оккупации.
18. Топ - 7 наборов семян, которые должны быть у каждого!
19. Картофельные ростки: золотой актив, который вы зря выбрасывали!
20. Слова - обереги, которые важно знать:
21. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
22. Джим Керри и теория клона: что произошло на самом деле?
23. Пятьcot лет тому нaзад.
24. "Tы понимаешь, что тебя уже нет?
25. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
26. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
27. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
28. Этот пирог лучше, чем торт и вкуснее кекса.
29. Арапайма звучит как имя из глубокой древности, и недаром.
30. Ни один шашлычек у нас не обходят без этой закуски!
31. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
32. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
33. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
34. А вы знали, что если у девушки долго не было Seksa, то она ….
35. Полезная свекольная аджика на зиму.
36. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
37. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
38. Начинайте готовить ягодные кустарники к холодам.
39. Пергола - это не просто арка или навес.
40. Мы готовим малинник к следующему сезону правильно!
41. Саженцы яблонь. Какие выбрать.
42. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
43. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
44. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
45. Перед шоу Дронов в Катаре тщательная подготовка проходит.
46. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
47. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
48. Какие исторические места Москвы связаны с наполеоновским вторжением
49. Дорогие мои, хочу поделиться с вами очень простым и полезным рецептом - чипсами из томатов.
50. Высший пилотаж на самолёте - это искусство управлять машиной так, чтобы она выполняла сложные фигуры в небе.