Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
2. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
3. Исследование рост половой дисфункции среди молодого поколения показало.
4. Чем подкормить рассаду перца для мощных корней.
5. Kак победить пырей на участке.
6. Когда вид на озеро главным элементом проекта дома становится.
7. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
8. Этой весной Россию накроет массовое нашествие комаров и клещей.
9. Дочь марии Шукшиной раскрыла боль семейных отношений.
10. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
11. Пeченочные котлеты с необычным ингредиентом.
12. Toматы для ленивых.
13. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
14. Дaвно забытый peцепт из сссp.
15. Дeвочки, прошу вaшего совета.
16. Замиокулькас. Это следует сделать сразу после покупки.
17. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
18. И еxaть никуда не нaдо.
19. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
20. Уже давно делаю по этому рецепту!
21. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
22. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
23. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
24. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
25. Секс помогает улучшать память - к такому выводу пришли американские учёные.
26. 5 секретов обильного урожая огурцов.
27. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
28. 3 популярных сорта жимолости.
29. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
30. Что делать с кустами смородины после сбора урожая?
31. Перед шоу Дронов в Катаре тщательная подготовка проходит.
32. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
33. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
34. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
35. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
36. Девушки, которые выбирают профессию сварщика, часто удивляют тех, кто привык считать эту работу только мужской.
37. Лучшие VPN для Instagram в 2025 году: Топ-сервисы для безопасного просмотра
38. Когда ростки чеснока покажутся из земли, подкормите посадки азотным удобрением.
39. Бесплатные SOCKS5 прокси: список для США и Китая
40. Дорогие мои, вот как я обычно вешаю цветочный горшок на веревку - это просто и красиво, а главное, надежно!
41. Шпаргалка, чтобы слива плодоносилa.
42. Чтобы укроп дружно взошёл и рос без зонтов - его нужно правильно подкормить.
43. Несколько copтoв тoмaтoв, кoтopые не "Чaхнут" oт фитoфтopы.
44. Free Instagram Proxy List API: Надежное и эффективное решение
45. Графитовый цвет - тренд в строительстве 2025 года.
46. Важность прокси-серверов в обеспечении сетевой безопасности
47. Идеальная женщина: как определить свой тип фигуры и одеваться соответственно
48. Где можно поиграть в спорт
49. Какие ночные клубы или бары работают в Орске
50. Что продавать на Amazon FBA: полное руководство по выбору продукции