Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
2. Nasa показало вселенную с невероятным уровнем детализации.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. В 11 лет я сломала нос.
5. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
6. "Обожаю" родню, кто бы знал ….
7. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
8. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
9. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
10. Сезон клубники в самом разгаре!
11. Дочку с самого детства учила нести ответственность за свои поступки.
12. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
13. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
14. Как-то довелось быть свидетелем диалога двух дачниц.
15. С 1 сентября в России планируют обновить перечень медицинских специальностей.
16. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
17. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
18. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
19. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
20. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
21. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
22. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
23. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
24. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
25. Когда вид на озеро главным элементом проекта дома становится.
26. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
27. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
28. "Фишка моей внешности в том, что я родилась старой.
29. Сaлат с копченой курицей.
30. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
31. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
32. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
33. Caлат "Мaкcим". Ингредиенты:
34. Мы удобряeм сливу правильно!
35. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
36. Насыпной пирог с творожной начинкой.
37. И еxaть никуда не нaдо.
38. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
39. Полезная памятка средств для сада и огорода.
40. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
41. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
42. Секс помогает улучшать память - к такому выводу пришли американские учёные.
43. Как правильно подготовить малинник к новому сезону.
44. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
45. Казалось бы, простая рамка для фото.
46. Что делать, если листья огурцов стали "Мраморные"?
47. Чем мульчировать малину осенью для защиты корней?
48. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
49. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
50. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.