Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
2. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
3. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
4. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
5. МРТ Плода показывает мозг и глаза сквозь кости черепа.
6. С 1 марта банки будут блокировать переводы при обнаружении вируса.
7. Уже нет сил постоянно ругаться со свекровью.
8. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
9. Цветы на томатах есть, а завязи нет: что я делаю в жару.
10. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
11. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
12. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
13. Добрый день! Вдруг кто с подобным … сталкивался.
14. Урологи из сша новую технологию увеличения разработали.
15. Когда-то давно у меня был кот с сумасшедшим характером.
16. Обычный поход в туалет потерей памяти закончился.
17. История любви из разных миров покорила интернет.
18. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
19. Пятый рабочий день полностью неэффективным оказался.
20. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
21. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
22. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
23. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
24. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
25. Фунчоза с овощами.
26. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
27. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
28. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
29. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
30. Сырники больше не делаю.
31. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
32. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
33. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
34. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
35. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
36. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
37. Kapтошка под соломой - мoй любимый спocoб пocaдки!
38. Маринованные помидоры. Предлагаю рецепт помидорчиков.
39. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
40. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
41. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
42. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
43. Самодельный светильник - маленькое чудо для спальни.
44. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
45. Мы готовим малинник к следующему сезону правильно!
46. Почему засыхает малина в период созревания ягод?
47. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
48. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
49. Топ-8 библиотек для веб-скраппинга на Python в 2025: что лучше выбрать
50. Что такое веб-скрейпинг в 2025 году: Основные области применения