Лайфхаки

Маленькие, полезные хитрости

Защиты от парсинга

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
2. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
3. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
4. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
5. Малина отплодоносила - и рука так и тянется оставить всё до весны.
6. На столе опять собралась миска яблок, которые никто не хотел есть.
7. Открыла вчера тыкву, а она оказалась огромной.
8. После уборки чеснока всегда остаются повреждённые головки.
9. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
10. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
11. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
12. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
13. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
14. Маринованные помидоры с чесноком быстрого приготовления.
15. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
16. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
17. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
18. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
19. Популярные суши и роллы официально признали настоящим суперфудом.
20. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
21. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
22. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
23. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
24. Банановая кожура в БОРЬБЕ с муравьями.
25. Как подкормить малину весной для крупных и сладких ягод.
26. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
27. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
28. Клещи - мутанты из Африки атакуют россиян.
29. Картофельные ростки: золотой актив, который вы зря выбрасывали!
30. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
31. Рецепт меренгового рулета.
32. Пoлезный чай для печени и жёлчного пузыря.
33. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
34. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
35. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
36. Австралийская семья отказалась продать дом за 50 миллионов долларов.
37. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
38. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
39. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
40. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
41. Помoщь для пeчени.
42. Полезная памятка средств для сада и огорода.
43. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
44. Это закуска на любом застолье на ура уходит!
45. Конечно! Вот классический рецепт варенья из яблок с апельсином:
46. Секрет крупного озимого чеснока - простая подкормка при посадке!
47. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
48. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
49. Создать овальные подносы можно легко, используя только свои руки.
50. Чем подкормить клубнику в августе крупного урожая.