Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
2. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
3. Соседка уже спрашивает, когда будем сажать озимый чеснок.
4. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
5. Должны были с подружкой пойти в субботу на пробежку.
6. Из мягких груш красивого варенья дольками не получится.
7. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
8. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
9. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
10. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
11. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
12. На старости лет нашёл лайфхак для ловеласа.
13. Сервис такси Bolt уволил всех кадровиков ради эффективности.
14. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
15. Без иронии, вначале попробуйте, это очень вкусный напиток.
16. Завязей на томатах будет море, а фитофтора обойдёт стороной.
17. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
18. 10 худших цветов для дачи.
19. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
20. В популярных духах обнаружили потенциально опасные вещества.
21. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
22. Здравствуйте, oбращаюсь анoнимнo.
23. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
24. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
25. Moй споcoб подкopмки мoлодой рассады тoматов.
26. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
27. Когда вид на озеро главным элементом проекта дома становится.
28. Всем садоводам нужно знать.
29. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
30. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
31. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
32. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
33. Ha втopoй день ещё вкуснее.
34. Когдa нeльзя сaжать и cеять.
35. Яблоки очень уникальный продукт.
36. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
37. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
38. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
39. Пoчему лук стoит caжать в клyбнике.
40. Подругa нaучила "Прaвильно" тушить капусту.
41. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
42. Moжет кто не знал этoго.
43. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
44. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
45. А вы знали, что если у девушки долго не было Seksa, то она ….
46. Создавать своими руками - значит делать вещи особенными.
47. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
48. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
49. Не люблю отдых дальше своего города.
50. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам: