Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Мой мужчина в разводе.
2. Один и тот же мир может выглядеть совершенно по-разному для каждого человека.
3. Человечество создало резервную копию урожая на случай катастрофы.
4. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
5. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
6. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
7. Родила старшую дочку в 17 лет.
8. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
9. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
10. В 11 лет я сломала нос.
11. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
12. Это не обычное варенье, где яблоки плавают в литре сиропа.
13. Четыре салата в банках на зиму.
14. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
15. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
16. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
17. Дeлaю yжe втopую нeдeлю.
18. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
19. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
20. Haтуральная защита капусты от вредителей.
21. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
22. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
23. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
24. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
25. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
26. Добрый день! Вдруг кто с подобным … сталкивался.
27. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
28. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
29. Топ - 10 теневыносливых растений для вашего сада.
30. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
31. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
32. Чем подкормить рассаду перца для мощных корней.
33. Всем садоводам нужно знать.
34. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
35. Этой весной Россию накроет массовое нашествие комаров и клещей.
36. Редкий секс с повышенным риском смертности и болезней сердца связан.
37. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
38. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
39. Яблоки очень уникальный продукт.
40. Этот пирог лучше, чем торт и вкуснее кекса.
41. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
42. Замиокулькас. Это следует сделать сразу после покупки.
43. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
44. Мощный шторм на Москву надвигается.
45. Аромат осени в банке - яблочное варенье с корицей.
46. Работа над настенной полкой своими руками успехом завершилась.
47. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
48. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
49. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
50. Чем мульчировать малину осенью для защиты корней?