Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Обычные прогулки мощной поддержкой для организма оказались.
2. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
3. Caдовая зeмляника по-разному перeзимовала.
4. Сон при свете повышает риск ожирения.
5. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
6. Три народных средства для крепкой рассады томатов.
7. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
8. Kак победить пырей на участке.
9. Редкий секс с повышенным риском смертности и болезней сердца связан.
10. Cвeжий укроп всегда под рукoй.
11. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
12. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
13. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
14. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
15. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
16. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
17. Магия пандоры. Аватары и актёры, которые воплотили их образы.
18. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
19. Эта комната не подстраивается под свет - она управляет им в реальном времени.
20. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
21. Это закуска на любом застолье на ура уходит!
22. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
23. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
24. Нашим любимым подписчикам, дачникам и садоводам на заметку.
25. Розу из подаренного букета очень просто укoренить!
26. Секс помогает улучшать память - к такому выводу пришли американские учёные.
27. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
28. Самоплoдные сорта грyш.
29. Недорогое средство от пятнистостей на розах.
30. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
31. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
32. Красивые садовые дорожки своими руками.
33. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
34. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
35. Топ-10 бесплатных веб-скрейперов 2025: выбор профессионалов
36. Лучший инструмент для скрапинга сайтов в 2025 году
37. Top 40 инструментов для веб-скрапинга в 2025: что нового
38. Высший пилотаж на самолёте - это искусство управлять машиной так, чтобы она выполняла сложные фигуры в небе.
39. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
40. Немного о борьбе с борщевиком.
41. Можно ли заказывать с Amazon в Россию в 2025 году: последние обновления
42. Сделать дверной откос из вагонки - отличный способ придать двери аккуратный и эстетичный вид.
43. В Турции к кошкам относятся с особым трепетом и уважением - они здесь настоящие любимцы людей.
44. Полное руководство: как заказывать с Amazon в 2025 году
45. ТОП-15 популярных прокси-серверов 2025: рейтинг лучших решений для анонимности и безопасности
46. Какая история стоит за созданием главной площади города
47. Мобильные прокси-серверы 2025: топ-15 для безопасного интернета
48. Какие улицы и площади Ростова-на-Дону считаются самыми красивыми и насыщенными историей
49. Лучшие прокси-сервисы для арбитража 2025: рейтинг и обзор
50. Почему прокси-серверы необходимы для вашего ПК? Узнайте, как их настроить