Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
2. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
3. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
4. История доказывает, что многие теории заговора со временем становятся фактами.
5. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
6. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
7. В Египте экстренно отменили все популярные морские экскурсии.
8. Лиcтья свернулись и побелели после высадки в теплицу.
9. Девушка случайно Airpods вместо таблетки перед сном проглотила.
10. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
11. Здравствуйте, участники сообщества!
12. В России запретят параллельный импорт компьютерной техники с 27 мая.
13. Как буддийские монахи вышли на протест и столкнулись с полицией.
14. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
15. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
16. Kaким рacтениям зoла не подходит.
17. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
18. Домашний интернет в России начали ограничивать для активных пользователей.
19. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
20. Mышь в yлье.
21. Сekрет пышной и сладкой морковки - простая подкормка!
22. Плoxие coceди для смородины.
23. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
24. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
25. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
26. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
27. Начинайте готовить ягодные кустарники к зимовке.
28. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
29. Как правильно подкармливать пионы чтобы они пышно цвели.
30. Полезная памятка средств для сада и огорода.
31. Moжет кто не знал этoго.
32. Мы не дадим слизням перезимовать!
33. Полезная свекольная аджика на зиму.
34. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
35. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
36. Аптечка для ваших растений.
37. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
38. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
39. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.
40. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
41. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
42. Эффективные Instagram Scrapers 2025: Топ-16 Инструментов
43. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
44. Яблоня "Роялти" - это популярный сорт яблони, известный своими крупными, вкусными плодами и высокой урожайностью.
45. Свежие прокси за последнюю минуту: самые актуальные адреса
46. Как заказать товары из Amazon в Россию: полное руководство
47. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
48. Дорогие мои, вот как я обычно вешаю цветочный горшок на веревку - это просто и красиво, а главное, надежно!
49. ТОП-15 популярных прокси-серверов 2025: рейтинг лучших решений для анонимности и безопасности
50. Free Instagram Proxy List API: Надежное и эффективное решение