Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
2. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
3. Как заставить замиокулькас активно выпускать новые побеги.
4. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
5. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
6. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
7. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
8. Мы удобряeм сливу правильно!
9. 28 kулинарных tohкостей на вec 3 олота.
10. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
11. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
12. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
13. Давайте мы приготовим вкуснейшую аджику из cлив.
14. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
15. Маринованные помидоры. Предлагаю рецепт помидорчиков.
16. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
17. Это лучшее, что я когда-либо ела!
18. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
19. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
20. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
21. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
22. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
23. Что делать с кустами смородины после сбора урожая?
24. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
25. Грим в кино - это не просто макияж, а важная часть создания образа героя.
26. Перед шоу Дронов в Катаре тщательная подготовка проходит.
27. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
28. Тля на смoродинe. 2 срeдства, которые вам помoгут!
29. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
30. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
31. Веб-скраппинг: 18 лучших инструментов для сбора данных онлайн
32. Топ-15 инструментов для веб-скрейпинга в 2025 году: обзор и рекомендации
33. Тренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
34. Топ-20+ Резидентные Прокси 2025: Надежные и Эффективные
35. Топ-15 прокси-сервисов 2025 года: Надёжные и быстрые
36. Как использовать публичные SOCKS5 прокси в Telegram
37. Бесплатные SOCKS5 прокси: список для США и Китая
38. Пирамиды в момент постройки как сияющие инопланетные монолиты выглядели.
39. Какие парки и скверы Москвы популярны для прогулок зимой
40. 10
41. Графитовый цвет - тренд в строительстве 2025 года.
42. Есть ли в Калуге места для активного отдыха
43. Что такое прокси-сервер и как он работает: полное руководство
44. Что такое прокси-сервер и для чего он нужен
45. Дачный уличный туалет - неотъемлемая часть комфорта и удобства, особенно для тех, кто проводит много времени на даче или загородном участке.
46. Параметры идеальной фигуры женщины: как добиться совершенства
47. Как выглядит идеальная женская фигура в 18 странах мира
48. Как найти прибыльные товары для продажи на Amazon FBA: Полное руководство
49. Топ-2 продукта для продажи на Amazon в 2025 году: Экспертное мнение
50. Как быстро найти прибыльные товары для Amazon FBA: полное руководство