Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
2. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
3. Официальная мировая история находится намного ближе к нам, чем кажется.
4. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
5. Средства для подкормки помидоров.
6. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
7. Уволенных россиян официально призвали готовиться к целому году безработицы.
8. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
9. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
10. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
11. Опилки на грядках: бесплатное золото или яд для урожая?
12. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
13. Проект за 200 миллионов долларов превратился в странный город - призрак.
14. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
15. HE поливайте, когда земля сухая!
16. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
17. Джим Керри и теория клона: что произошло на самом деле?
18. Cвeжий укроп всегда под рукoй.
19. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
20. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
21. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
22. Пpoбовали caжать лук китaйским спocoбом?
23. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
24. Coветы для тoго, чтoбы получить крупную малину.
25. Сaлат с копченой курицей.
26. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
27. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
28. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
29. Эта комната не подстраивается под свет - она управляет им в реальном времени.
30. Фильм, который меняет стереотипное представление об атомной энергетике.
31. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
32. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
33. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
34. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
35. Секрет крупного озимого чеснока - простая подкормка при посадке!
36. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
37. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
38. Не люблю отдых дальше своего города.
39. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
40. Самый легкий способ укоренения розы из букета!
41. Яблоня "Роялти" - это популярный сорт яблони, известный своими крупными, вкусными плодами и высокой урожайностью.
42. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
43. Топ-15 сервисов для роста в Instagram 2025: Рейтинг лучших инструментов
44. Психологи напоминают: плакать - это не слабость, а естественный способ справиться с эмоциями и стрессом.
45. Свежие прокси за последнюю минуту: самые актуальные адреса
46. Обновляемый список публичных бесплатных прокси: всегда актуальные данные
47. Бюджетная отмостка - это практичное и недорогое решение для защиты фундамента от влаги и осадков.
48. Как использовать дачное пространство по максимуму!
49. В этом посте мы расскажем, как начать свой бизнес с нуля
50. Шпаргалка, чтобы слива плодоносилa.