Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Поссорились с женой.
2. Бабушка маму родила уже за 30, во втором браке.
3. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
4. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
5. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
6. Кислую сливу, от которой за столом морщатся, я берегу для джема.
7. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
8. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
9. Пустая грядка в августе не обязана два месяца выращивать сорняки.
10. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
11. Большая оранжевая тыква созрела ещё не обязательно.
12. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
13. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
14. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
15. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
16. Серая гниль на розах - гадость мерзостная.
17. По вкусу, как мармелад: в сезон закрываю побольше.
18. Я не худею к морю - езжу в Турцию.
19. Про проветривание теплицы.
20. Haтуральная защита капусты от вредителей.
21. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
22. В Японии открылся уникальный музей для всех ценителей женских ног.
23. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
24. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
25. Haтуральные стимуляторы образования корней.
26. Банановая кожура в БОРЬБЕ с муравьями.
27. После того как рухнула советская власть, что сделали?
28. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
29. Клещи - мутанты из Африки атакуют россиян.
30. Пepвая пoдкopмка рaccaды народными средствами.
31. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
32. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
33. Магия пандоры. Аватары и актёры, которые воплотили их образы.
34. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
35. Cвекла на дaче: что вaжно учесть в течение сезона.
36. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
37. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
38. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
39. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
40. Пробовали сажать лук китайским способом?
41. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
42. С легкой и пушистой текстурой, это самый мягкий торт.
43. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
44. Это закуска на любом застолье на ура уходит!
45. В России отложили введение нового утильсбора для автомобилей.
46. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
47. Как избавиться от грызунов на даче простыми средствами.
48. Маленькие, но важные детали делают интерьер особенным.
49. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
50. Аптечка для ваших растений.