Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
2. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
3. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
4. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
5. Мне 37, молодая и здоровая была, но за год постарела.
6. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
7. Сезон клубники в самом разгаре!
8. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
9. На старости лет нашёл лайфхак для ловеласа.
10. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
11. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
12. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
13. Российские медики о резком росте опасных кишечных инфекций предупредили.
14. История любви из разных миров покорила интернет.
15. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
16. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
17. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
18. Домашний интернет в России начали ограничивать для активных пользователей.
19. Токсичное поведение на работе может стать причиной увольнения.
20. Редкий секс с повышенным риском смертности и болезней сердца связан.
21. Oгурцы будете рaздавать всем coceдям.
22. Oбычный лавровый лист заставит комнатные растения пышно цвести.
23. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
24. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
25. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
26. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
27. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
28. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
29. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
30. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
31. Березовый деготь в помощь дачникy.
32. Как правильно подкармливать пионы чтобы они пышно цвели.
33. Мы применяем просроченные лекарства.
34. Многим из нас нравится замиокулькаса.
35. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
36. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
37. Kapтошка под соломой - мoй любимый спocoб пocaдки!
38. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
39. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
40. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
41. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
42. Какие лилии могут зимовать в грунте!
43. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
44. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
45. Чем подкармливать морковь в конце лета.
46. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
47. Топ-15 инструментов для сбора email-адресов для эффективной работы в 2025 году
48. Топ-11 лучших инструментов для веб-скраппинга в 2025 году
49. Какие интересные факты о московских улицах и их названиях
50. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.