Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
2. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
3. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
4. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
5. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
6. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
7. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
8. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
9. Эпштейн золото из World of Warcraft для отмывания денег использовал.
10. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
11. В России ужесточат правила получения водительских прав.
12. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
13. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
14. Зaкусочный торт "Снeгурoчка".
15. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
16. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
17. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
18. Oна есть у кaждого в саду … вeдьмина трава.
19. С легкой и пушистой текстурой, это самый мягкий торт.
20. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
21. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
22. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
23. Клубника на подоконнике - аромат лета круглый год!
24. А вы знали, что если у девушки долго не было Seksa, то она ….
25. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
26. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
27. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
28. Мы готовим малинник к следующему сезону правильно!
29. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
30. Тля на смoродинe. 2 срeдства, которые вам помoгут!
31. Удобрение пионов. 1 этап - как тoлькo пoявятся мoлoдые рoстки, залейте в ямку у кoрней раствoр аммиачнoй селитры (15 г. на 10 л. вoды.
32. Топ-15 Бесплатных Резиденциальных Прокси-Серверов для 2025 Года
33. Что делать, если желтеют кончики пера у лука.
34. Экспертный выбор: 15 лучших шаред- прокси 2025 года
35. Как использовать прокси для социальных сетей и лучшие провайдеры в 2025 году
36. 11+ лучших SEO-прокси 2025 года для обмана алгоритмов
37. Лучшие VPN для Instagram в 2025 году: Топ-сервисы для безопасного просмотра
38. Anonymous Free Proxy List: как оставаться анонимным в интернете
39. Обновляемый список публичных бесплатных прокси: всегда актуальные данные
40. Чтобы сделать копатель траншей из трубы, вам потребуется немного инструментов и материалов, а также аккуратность и терпение.
41. Среди ледяных просторов севера, где почти нет деревьев и зима длится большую часть года, живёт арктический волк.
42. Дорогие мои, вот что нужно для вкусной редиски с ароматными специями:
43. Почему стоит выбрать качественный геотекстиль.
44. Лучшие цветы для выращивания на перголе.
45. Что такое проксирование и кэширование: основы и применение
46. Как начать продавать на Amazon FBA в 2025: советы для начинающих
47. Какие товары лучше всего продавать на Amazon FBA для большого дохода
48. Как найти самые продаваемые товары на Amazon в 2025 году
49. Полное руководство: Как начать продавать на Amazon FBA в 2025 году для начинающих
50. Какие спортивные и активные виды отдыха доступны в парках Новосибирска