Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. У меня сложные отношения со свекрами.
2. Урологи из сша новую технологию увеличения разработали.
3. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
4. В России запретят параллельный импорт компьютерной техники с 27 мая.
5. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
6. Почему вы зря деревья от лишайника белите?
7. После того как рухнула советская власть, что сделали?
8. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
9. Проект за 200 миллионов долларов превратился в странный город - призрак.
10. Как подкормить малину весной для крупных и сладких ягод.
11. Первая обработка сада от паразитов весной: полный гайд.
12. Ваши вопросы: пожелтела совсем туя после зимы.
13. 1941 год. Украина, первые месяцы оккупации.
14. Легенды мирового рока украсили фасады домов в елизаветино.
15. Редкий секс с повышенным риском смертности и болезней сердца связан.
16. Oбычный лавровый лист заставит комнатные растения пышно цвести.
17. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
18. Нашатырь можно как хорошую подкормку для лука использовать.
19. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
20. Яблоки очень уникальный продукт.
21. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
22. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
23. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
24. Мы применяем просроченные лекарства.
25. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
26. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
27. Розу из подаренного букета очень просто укoренить!
28. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
29. 5 секретов обильного урожая огурцов.
30. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
31. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
32. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
33. Лучшие бесплатные инструменты для веб-скраппинга 2025
34. Топ-8 библиотек для веб-скраппинга на Python в 2025: что лучше выбрать
35. Топ-10 лучших бесплатных мгновенных данных
36. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов
37. 11+ лучших SEO-прокси 2025 года для обмана алгоритмов
38. Топ-16 лучших прокси для Spotify в 2025 году
39. Топ-15 прокси-сервисов 2025 года: Надёжные и быстрые
40. Бесплатные SOCKS5 прокси: список для США и Китая
41. Бюджетная отмостка - это практичное и недорогое решение для защиты фундамента от влаги и осадков.
42. Как заказать товары из Amazon в Россию: полное руководство
43. Посев астры: 3 правила успеха.
44. Народные методы избавления от травы на садовых дорожках:
45. Дача это не только заботы и работа, но еще и отдых!
46. Виды средств от клещей.
47. Какие улицы и площади Ростова-на-Дону считаются самыми красивыми и насыщенными историей
48. Лучшие прокси для Instagram 2025: полный обзор и рейтинг
49. Лучшие прокси для Instagram в 2025 году: рейтинг и обзор
50. Список лучших бесплатных proxy серверов: безопасность и анонимность