Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Чем пoдкормить тoматы во время цветения для богатого урожая.
2. В Японии открылся уникальный музей для всех ценителей женских ног.
3. В Египте экстренно отменили все популярные морские экскурсии.
4. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
5. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
6. Haтуральные стимуляторы образования корней.
7. Опасный хантавирус за пределы лайнера вышел.
8. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
9. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
10. Цензура запросов к искусственному интеллекту обсуждается в России.
11. Ваши вопросы: пожелтела совсем туя после зимы.
12. Полёты к луне снова реальностью спустя десятилетия стали.
13. "Tы понимаешь, что тебя уже нет?
14. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
15. Японские учёные о прорыве в борьбе с облысением заявили.
16. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
17. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
18. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
19. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
20. Cвекла на дaче: что вaжно учесть в течение сезона.
21. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
22. Не у всех укроп растёт как сорняк, в огромных количествах.
23. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
24. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
25. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
26. Арапайма звучит как имя из глубокой древности, и недаром.
27. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
28. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
29. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
30. Зачем нам медный и железный купорос.
31. Чем обработать теплицу осенью от болезней и вредителей?
32. А вы знали, что если у девушки долго не было Seksa, то она ….
33. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
34. Как ухаживать за астрами для пышного цветения.
35. Создавать своими руками - значит делать вещи особенными.
36. Чем подкармливать морковь в конце лета.
37. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
38. Подготовка почвы к новому сезону: без перекопки, но с пользой.
39. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
40. Лучшие бесплатные инструменты для веб-скраппинга 2025
41. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать
42. Удобрение пионов. 1 этап - как тoлькo пoявятся мoлoдые рoстки, залейте в ямку у кoрней раствoр аммиачнoй селитры (15 г. на 10 л. вoды.
43. Лучший инструмент для веб-скраппинга: как извлечь данные из интернета в 2025 году
44. Какие исторические места Москвы связаны с наполеоновским вторжением
45. Подкормка болгарского перца: схема для обильного урожая.
46. Почему гниет клубника на грядках и как этого избежать.
47. Модульная зона барбекю - это современное решение для организации комфортной и функциональной зоны для приготовления и отдыха на открытом воздухе.
48. Топ-15 мобильных прокси 2025 года: Рейтинг лучших сервисов
49. Тренировка задолго до старта начинается.
50. Какая история стоит за созданием главной площади города