Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
2. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
3. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
4. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
5. Думаю, моя мама не человек.
6. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
7. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
8. Хроническая бедность способна значительно ускорять естественное старение организма.
9. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
10. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
11. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
12. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
13. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
14. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
15. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
16. Haтуральные стимуляторы образования корней.
17. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
18. Кейсы в CS2 и паки Fifa предложили запретить в России.
19. Hикогда не выpaщивайте tomаты и перец без этого!
20. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
21. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
22. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
23. Вот так выглядит архитектура, когда пространства почти не осталось.
24. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
25. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
26. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
27. Taкой арoматный и вкycный.
28. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
29. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
30. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
31. Яркий акцент для сада.
32. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
33. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
34. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
35. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
36. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
37. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
38. Вкусный рецепт бургера с курочкой.
39. 5 лучших подкормок для огорода - проверено на практике.
40. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
41. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
42. Что такое веб-скрейпинг в 2025 году: Основные области применения
43. Какие легенды и мифы связаны с историей Миасса
44. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов
45. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
46. Эффективная универсальная подкормка для всех Видов цветов.
47. 8 Лучших Прокси для Безопасного Серфинга в 2025
48. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
49. Топ-16 лучших прокси для Reddit в 2025 году: рейтинг и обзор
50. Какие необычные места можно посмотреть в Волгограде, которые не указаны в обычных путеводителях