Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
2. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
3. Нежный пирог черный принц из варенья.
4. Пиpoжки: зaбытый стapый мaмин рeцепт.
5. На заметку садоводам.
6. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
7. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
8. Вмecто тыcячи слов.
9. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
10. Работа над настенной полкой своими руками успехом завершилась.
11. В России начались испытания новой вакцины против аллергии.
12. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
13. Острый соус, который можно замораживать.
14. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
15. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
16. 5 секретов обильного урожая огурцов.
17. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
18. Подготовка почвы к новому сезону: без перекопки, но с пользой.
19. 5 лучших подкормок для огорода - проверено на практике.
20. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
21. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
22. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
23. Лучшие инструменты для веб-скраппинга 2025: обзор лучших программ
24. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
25. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов
26. Лучшие прокси для социальных сетей 2025: полное руководство
27. Топ-12 лучших шард-прокси 2025 года: рейтинг, отзывы, особенности
28. Топ-10 бесплатных прокси 2025 года: рейтинг и обзор
29. Белки - очень активные создания, но даже у них есть время для отдыха.
30. Как использовать публичные SOCKS5 прокси в Telegram
31. Йошта. Почему я её крыжовнику предпочла.
32. Бесплатные прокси-серверы высокой скорости: полный список
33. ТОП-15 лучших мобильных прокси: безопасность и анонимность на вашем смартфоне
34. Топ-10 прокси-серверов 2025: Рейтинг лучших сервисов для анонимности и безопасности
35. Лучшие приватные прокси 2025: Надежность и безопасность
36. Что такое проксирование и кэширование: основы и применение
37. Прокси-серверы: что это такое и как они работают
38. Чем продезинфицировать теплицу и грунт перед новым сезоном.
39. Ученые определили идеал женской красоты: кто же она
40. Как выглядит идеальная женская фигура в 18 странах мира
41. Как добраться до основных достопримечательностей города
42. Какие товары лучше всего продавать на Amazon FBA для большого дохода
43. Какие уникальные кафе и рестораны есть в городе
44. Как выбрать продукт для продажи на Amazon FBA: пошаговое руководство
45. Полное руководство по исследованию продуктов для Amazon FBA в 2025 году
46. Лучшие товары для продажи на Amazon FBA: как добиться успеха в третьем квартале
47. Как начать исследовать товары на Amazon FBA с помощью Helium 10: Руководство для начинающих
48. Как быстро найти прибыльные товары для Amazon FBA: полное руководство
49. Как найти прибыльные товары на Amazon в 2025: 10 проверенных методов
50. Лучшие антидетект браузеры 2025: Рейтинг и обзор