Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
2. Уже проснулись: как не встретить гадюку на любимых грядках.
3. Kак победить пырей на участке.
4. Mышь в yлье.
5. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
6. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
7. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
8. Самый богатый бомж в мире!
9. Не у всех укроп растёт как сорняк, в огромных количествах.
10. Натали вспомнила мужа: "третья новогодняя ночь без него.
11. Простое клубничное варенье.
12. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
13. Моя соседка никак не могла продать дорогущий антикварный комод.
14. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
15. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
16. Мощный шторм на Москву надвигается.
17. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
18. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
19. Пурпурная малина - настоящая Находка для вашего сада!
20. Как правильно подготовить малинник к новому сезону.
21. Красивые садовые дорожки своими руками.
22. Создать овальные подносы можно легко, используя только свои руки.
23. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
24. Молодая кровь способна омолаживать тело - это доказали учёные.
25. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
26. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
27. Как спасти огурцы от мучнистой росы.
28. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
29. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
30. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
31. Топ-9 инструментов для веб-скраппинга в 2025 году: что нового и что лучше
32. Топ-10 лучших бесплатных мгновенных данных
33. Лучшие бесплатные прокси-провайдеры: топовый рейтинг
34. Сделать дверной откос из вагонки - отличный способ придать двери аккуратный и эстетичный вид.
35. Полное руководство: Как начать продавать на Amazon в 2025 году
36. Дорогие мои, вот что нужно для вкусной редиски с ароматными специями:
37. Сладкую малинку хотите?
38. Лучшие вращающиеся резидентные прокси 2025 года: рейтинг и обзор
39. Лучшие сервисы по продаже резидентных прокси: как выбрать надежного поставщика
40. Как выращивать вишню мелькопильчатую в средней полосе.
41. Прокси-серверы для Instagram: как защитить свой аккаунт и сохранить анонимность
42. Headlines:
43. Эволюция идеала женской фигуры: как менялись стандарты красоты за последний век
44. Совершенная фигура: мифы и реальность
45. Эталон женской фигуры: как определить и достичь идеал
46. Как современные мужчины видят идеальную женскую фигуру
47. Какие ночные клубы или бары работают в Орске
48. Топовые товары для Amazon FBA: Полное руководство
49. Как начать исследовать товары на Amazon FBA с помощью Helium 10: Руководство для начинающих
50. Как быстро найти прибыльные товары для Amazon FBA: полное руководство