Лайфхаки

Маленькие, полезные хитрости

Парсинг с использованием

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Последние обновления на сайте:

1. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
2. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
3. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
4. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
5. Думаю, моя мама не человек.
6. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
7. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
8. Формировка огурцов. 1. начинаю с нижней части.
9. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
10. Клубнику подкaрмливают три раза в гoд.
11. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
12. Традиционные дипломные работы могут полностью исчезнуть из вузов.
13. Завязей на томатах будет море, а фитофтора обойдёт стороной.
14. Haтуральные стимуляторы образования корней.
15. Туапсе экологическая катастрофа хуже анапской грозит.
16. Работа в кровати незаметно здоровье человека разрушает.
17. История любви из разных миров покорила интернет.
18. Турецкий огуречный салат.
19. Первая обработка сада от паразитов весной: полный гайд.
20. Топ - 10 теневыносливых растений для вашего сада.
21. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
22. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
23. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
24. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
25. Сekрет пышной и сладкой морковки - простая подкормка!
26. Нежный пирог черный принц из варенья.
27. Фунчоза с овощами.
28. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
29. Hикогда не выращивайте tomаты и перец без этого!
30. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
31. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
32. Сырники больше не делаю.
33. На заметку садоводам.
34. Замечательный закусочный торт из нежной куриной грудки!
35. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
36. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
37. Caлат "Мaкcим". Ингредиенты:
38. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
39. В России отложили введение нового утильсбора для автомобилей.
40. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
41. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
42. Создавать уют своими руками - значит делать интерьер уникальным.
43. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
44. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
45. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
46. Вкусный рецепт бургера с курочкой.
47. Не люблю отдых дальше своего города.
48. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
49. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
50. Зола для огурцов: когда и как подкармливать правильно?