Лайфхаки

Маленькие, полезные хитрости

Блокировки при парсинге

Некоторые популярные сайты могут банить при парсинге. Это почти всегда происходит из-за частых обращений к ним (большое количество запросов). Чаще всего сайты банят по IP, очень редко по HTTP-заголовкам (cookies и прочее). Поэтому, если вас забанил сайт и вы имеете динамический IP, просто переподключите ваше интернет-соединение. Ваш IP-адрес сменится и вы можете продолжить парсинг сайта. Если у вас статический IP (никогда не меняется), то подождите некоторое время (от 5 минут до суток) и сайт вас должен разбанить.

1. Часть такого трафика получается срезать посредством настройки и подключения сервиса CloudFlare.

Программа CloudFlare имеет 4 тарифа:

Free,Pro ($20/месяц),Business ($200/месяц),Enterprise (по запросу).

На тарифах Pro и Business есть раздел Bots.

В блоке показывается статистика по трафику в разрезе определения ботов по вашему проекту.

Отчет бота включает в себя 4 типа трафика:

Последние обновления на сайте:

1. Лоис гибсон превратила карандаш в инструмент поимки преступников.
2. Родила старшую дочку в 17 лет.
3. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
4. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
5. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
6. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
7. Россияне снова смогут оформлять иммиграционные визы в США.
8. В Россию прибыла первая партия бензина из индии.
9. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
10. Американец с самым крошечным пенисом в мире на увеличение пошёл.
11. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
12. Самые абсурдные законы мира, в которые сложно поверить.
13. Должны были с женой и родителями лететь на свадьбу сестры.
14. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
15. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
16. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
17. Большинство крупнейших катастроф в мировой истории не были неизбежными.
18. Современный гейминг оказался исключительно полезен для человеческой психики.
19. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
20. Традиционные дипломные работы могут полностью исчезнуть из вузов.
21. Лиcтья свернулись и побелели после высадки в теплицу.
22. Почему желтеет лук и чеснок и как быстро их "Оживить".
23. Опилки на грядках: бесплатное золото или яд для урожая?
24. Три народных средства для крепкой рассады томатов.
25. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
26. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
27. Топ - 7 наборов семян, которые должны быть у каждого!
28. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
29. Все лето держу окна в доме отрытыми и не боюсь комаров.
30. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
31. Этой весной Россию накроет массовое нашествие комаров и клещей.
32. Сekрет пышной и сладкой морковки - простая подкормка!
33. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
34. Пpoбовали caжать лук китaйским спocoбом?
35. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
36. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
37. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
38. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
39. Пpoще пpocтого! Никто не догадается как оно сделано!
40. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
41. Давайте мы приготовим вкуснейшую аджику из cлив.
42. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
43. Нашим любимым подписчикам, дачникам и садоводам на заметку.
44. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
45. Недорогое средство от пятнистостей на розах.
46. Начинайте готовить ягодные кустарники к холодам.
47. Красивые садовые дорожки своими руками.
48. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
49. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
50. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.