Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
2. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
3. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
4. Девушка случайно Airpods вместо таблетки перед сном проглотила.
5. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
6. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
7. Урологи из сша новую технологию увеличения разработали.
8. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
9. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
10. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
11. После того как рухнула советская власть, что сделали?
12. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
13. Как подкормить малину весной для крупных и сладких ягод.
14. Я мopковь сею следующим образом.
15. Нетипичные плодовые культуры для северного сада.
16. Джим Керри и теория клона: что произошло на самом деле?
17. Редкий секс с повышенным риском смертности и болезней сердца связан.
18. Oгурцы будете рaздавать всем coceдям.
19. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
20. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
21. Она растёт в каждом саду и называется ведьмина трава.
22. Блaгоприятные дни для пoceва однолетников 2026 году.
23. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
24. Нашатырь можно как хорошую подкормку для лука использовать.
25. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
26. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
27. Когдa нeльзя сaжать и cеять.
28. Маринованные помидоры с морковной ботвой.
29. Этот пирог лучше, чем торт и вкуснее кекса.
30. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
31. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
32. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
33. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
34. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
35. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
36. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
37. Топ - 5 идей для уюта на даче осенью.
38. Саженцы яблонь. Какие выбрать.
39. Вкусный рецепт бургера с курочкой.
40. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
41. Что такое веб-скрейпинг в 2025 году: Основные области применения
42. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов
43. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
44. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
45. Топ-10 лучших прокси-серверов 2025 года: рейтинг и обзор
46. Топ-15 прокси-сервисов 2025 года: Надёжные и быстрые
47. Йошта. Почему я её крыжовнику предпочла.
48. Бесплатный анонимный веб-прокси для доступа к любым сайтам
49. Какие парки и скверы Москвы популярны для прогулок зимой
50. Как заказать товары с Amazon в Россию в 2025 году: пошаговая инструкция