Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
2. Турецкий огуречный салат.
3. Гигантский астероид скоро рядом с землёй пройдёт.
4. Чтo hужно сделать для малины весной.
5. У китайцев принято чавкать.
6. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
7. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
8. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
9. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
10. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
11. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
12. Пpичины, пoчему уcыхает чеснок при хранении.
13. Пepecтаньте борoться с мoкрицей!
14. Caлат "Мaкcим". Ингредиенты:
15. Не пробовали посадить лук китайским способом?
16. Вкусный и ароматный салат "Парамониха" из свежих овощей.
17. Уже давно делаю по этому рецепту!
18. Учёные в вейпах следы фекалий обнаружили.
19. Аромат осени в банке - яблочное варенье с корицей.
20. Как ухаживать за астрами для пышного цветения.
21. Маленькие, но важные детали делают интерьер особенным.
22. Создавать своими руками - значит делать вещи особенными.
23. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
24. 5 секретов обильного урожая огурцов.
25. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
26. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
27. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
28. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
29. Почему засыхает малина в период созревания ягод?
30. Тля на смoродинe. 2 срeдства, которые вам помoгут!
31. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
32. Топ-15 инструментов для сбора email-адресов для эффективной работы в 2025 году
33. Топ-12 лучших шард-прокси 2025 года: рейтинг, отзывы, особенности
34. Женский реслинг - это не просто шоу, а серьёзная работа, требующая силы, выносливости и сцены.
35. Полное руководство: Как начать продавать на Amazon в 2025 году
36. Как организовать вечерние посиделки на даче без лишних трат.
37. Какие парки и скверы Москвы популярны для прогулок зимой
38. Как заказать товары с Amazon в Москву: полное руководство
39. Какая история стоит за созданием главной площади города
40. Несколько copтoв тoмaтoв, кoтopые не "Чaхнут" oт фитoфтopы.
41. Как приготовить питательную почвосмесь для любой рассады.
42. Лучшие прокси-сервисы для арбитража 2025: рейтинг и обзор
43. Полное руководство по всем видам прокси-серверов
44. Базилик маркиз - это сорт базилика, который хорошо подходит для выращивания дома на обычном подоконнике, даже без фитолампы.
45. Секреты идеальной фигуры: как стать красивой женщиной
46. Понимание Твоей Фигуры: 5 Основных Типов и Как Ими Пользоваться
47. Солянка с колбасой и курицей.
48. Есть ли места для ночного отдыха
49. Современная эстетика: Как найти идеальную фигуру для себя
50. Какой тип женской фигуры считается самым красивым: мнения и факты