Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. "Обожаю" родню, кто бы знал ….
2. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
3. Я не худею к морю - езжу в Турцию.
4. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
5. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
6. Здоровый быт начинается с внимания к предметам, которые вас окружают.
7. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
8. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
9. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
10. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
11. Мой личный лайфхак относительно учёбы.
12. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
13. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
14. Проект за 200 миллионов долларов превратился в странный город - призрак.
15. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
16. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
17. Уже проснулись: как не встретить гадюку на любимых грядках.
18. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
19. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
20. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
21. Топ - 7 наборов семян, которые должны быть у каждого!
22. Картофельные ростки: золотой актив, который вы зря выбрасывали!
23. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
24. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
25. Cвeжий укроп всегда под рукoй.
26. Oбычный лавровый лист заставит комнатные растения пышно цвести.
27. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
28. Heжнeйший пирог 4 стакана.
29. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
30. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
31. Caлат "Мaкcим". Ингредиенты:
32. Моя соседка никак не могла продать дорогущий антикварный комод.
33. Вмecто тыcячи слов.
34. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
35. Это закуска на любом застолье на ура уходит!
36. Учёные в вейпах следы фекалий обнаружили.
37. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
38. Работа над настенной полкой своими руками успехом завершилась.
39. Мы не дадим слизням перезимовать!
40. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
41. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
42. Подготовка почвы к новому сезону: без перекопки, но с пользой.
43. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
44. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
45. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.
46. Топ-8 библиотек для веб-скраппинга на Python в 2025: что лучше выбрать
47. Лучший инструмент для веб-скраппинга: как извлечь данные из интернета в 2025 году
48. Упорные тренировки в зале сильно меняют девушек как внешне, так и внутренне.
49. Альпинисты, которые покоряют снежные и высокие горы, всегда рискуют многим.
50. Модульная зона барбекю - это современное решение для организации комфортной и функциональной зоны для приготовления и отдыха на открытом воздухе.