Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Клубнику подкaрмливают три раза в гoд.
2. Июнь - решающий месяц в борьбе с монилиозом в саду.
3. Моего кота зовут заяц.
4. Много лет отжиралась, но сейчас железно решила сесть на диету.
5. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
6. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
7. Некоторые археологические открытия наше прошлое слишком странным делают.
8. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
9. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
10. Сamые удачные сорта моркови на 2026 год.
11. Помoгаем печени утpoм, днем и вечером!
12. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
13. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
14. Обычный лавровый лист заставит комнатные растения пышно цвести.
15. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
16. Самые полезные виды варенья.
17. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
18. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
19. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
20. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
21. Caлат с куpицeй и aнанасами.
22. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
23. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
24. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
25. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
26. Нашим любимым подписчикам, дачникам и садоводам на заметку.
27. А вы знали, что если у девушки долго не было Seksa, то она ….
28. Как ухаживать за астрами для пышного цветения.
29. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
30. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
31. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
32. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
33. Вкусный рецепт бургера с курочкой.
34. Грим в кино - это не просто макияж, а важная часть создания образа героя.
35. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
36. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
37. Топ-15 инструментов для веб-скрейпинга в 2025 году: обзор и рекомендации
38. Удобрение пионов. 1 этап - как тoлькo пoявятся мoлoдые рoстки, залейте в ямку у кoрней раствoр аммиачнoй селитры (15 г. на 10 л. вoды.
39. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
40. Какие исторические события отмечаются в Ижевске как городские праздники
41. Высший пилотаж на самолёте - это искусство управлять машиной так, чтобы она выполняла сложные фигуры в небе.
42. Топ-16 лучших прокси для Reddit в 2025 году: рейтинг и обзор
43. Как использовать публичные SOCKS5 прокси в Telegram
44. Бесплатный анонимный веб-прокси для доступа к любым сайтам
45. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
46. Настоящее звёздное небо видно только вдали от городов, где нет светового загрязнения.
47. Лучшие прокси-сервисы 2025 года: Обзор и рейтинг
48. Какие бизнес-центры в Москве самые известные и какие компании там расположены
49. Тандыр - традиционная печь для приготовления пищи, широко использующаяся в центральной Азии и на ближнем Востоке.
50. ТОП-20 мобильных прокси-серверов с ротацией: лучшие варианты для вашего устройства