Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
2. Блaгоприятные дни для пoceва однолетников 2026 году.
3. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
4. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
5. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
6. Сaлат с копченой курицей.
7. Caлат "Пиковая Дама".
8. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
9. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
10. Не пробовали посадить лук китайским способом?
11. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
12. Полезная памятка средств для сада и огорода.
13. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
14. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
15. Красивые садовые дорожки своими руками.
16. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
17. Мы готовим малинник к следующему сезону правильно!
18. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
19. Что делать с кустами смородины после сбора урожая?
20. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
21. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
22. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
23. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
24. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
25. 10 июня 2023 года легендарная гонка "24 часа Ле - Мана" началась с настоящей драмы, которая сразу вошла в историю автоспорта.
26. Какие исторические события отмечаются в Ижевске как городские праздники
27. Что делать, если желтеют кончики пера у лука.
28. 11+ лучших SEO-прокси 2025 года для обмана алгоритмов
29. Топ-15 прокси-сервисов 2025 года: Надёжные и быстрые
30. Топ-12 лучших шард-прокси 2025 года: рейтинг, отзывы, особенности
31. Топ прокси США 2025: лучшие бесплатные и платные варианты
32. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.
33. Как использовать публичные SOCKS5 прокси в Telegram
34. Строительство цветника из бетона - это отличный способ создать долговечное и эстетичное оформление вашего сада или приусадебного участка.
35. Построить дачный туалет своими руками - вполне реально, особенно если у вас есть строительный опыт или желание учиться.
36. Как выращивать вишню мелькопильчатую в средней полосе.
37. Вок - правила и секреты.
38. ТОП-15 лучших мобильных прокси: безопасность и анонимность на вашем смартфоне
39. HTTP-прокси: что это такое и как он работает
40. Золотая пропорция: как определить идеальные формы тела
41. Политехнический музей – для кого интересен
42. Как современные мужчины видят идеальную женскую фигуру
43. Какие парки и скверы популярны среди туристов
44. Как выбрать лучшие товары для продажи на Amazon в 2025 году: полное руководство
45. Headlines:
46. Какие кафе и рестораны подходят для романтического ужина
47. Как найти прибыльные долгосрочные товары для продажи на Amazon FBA
48. Можно ли организовать пикник в парках Дмитрова
49. Огурчики по-фински: шикарный рецепт.
50. Что такое ребилл в арбитраже трафика: полное руководство