Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. На старости лет нашёл лайфхак для ловеласа.
2. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
3. Как-то довелось быть свидетелем диалога двух дачниц.
4. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
5. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
6. Возможную блокировку Github снова обсуждают в России.
7. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
8. В России запретят параллельный импорт компьютерной техники с 27 мая.
9. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
10. 10 растений с белыми цветами.
11. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
12. Все лето держу окна в доме отрытыми и не боюсь комаров.
13. В Мавритании ходит один из самых впечатляющих поездов на планете.
14. Обычный лавровый лист заставит комнатные растения пышно цвести.
15. Hикогда не выращивайте tomаты и перец без этого!
16. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
17. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
18. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
19. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
20. Самый богатый бомж в мире!
21. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
22. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
23. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
24. Не пробовали посадить лук китайским способом?
25. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
26. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
27. И еxaть никуда не нaдо.
28. Творожный чизкейк. Ингредиенты:
29. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
30. Как избавиться от грызунов на даче простыми средствами.
31. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
32. Самодельный светильник - маленькое чудо для спальни.
33. Пергола - это не просто арка или навес.
34. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
35. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
36. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
37. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.
38. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
39. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
40. Лучшие бесплатные инструменты для веб-скраппинга 2025
41. Топ-10 лучших бесплатных мгновенных данных
42. Дорогие мои, хочу поделиться с вами очень простым и полезным рецептом - чипсами из томатов.
43. Надежный список прокси: обновление каждый день
44. Бесплатные прокси-серверы высокой скорости: полный список
45. Настоящее звёздное небо видно только вдали от городов, где нет светового загрязнения.
46. Полное руководство: Как покупать на Amazon в 2025 году
47. Какие бизнес-центры в Москве самые известные и какие компании там расположены
48. Прокси-серверы по странам: полный гид для начинающих
49. Какие религиозные места можно посетить в Москве
50. Лучшие сервисы по продаже резидентных прокси: как выбрать надежного поставщика