Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
2. Муж часто домашние дела на потом задвигает.
3. Традиционные дипломные работы могут полностью исчезнуть из вузов.
4. Малина в июне в правильной подкормке нуждается.
5. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
6. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
7. Гигантский астероид скоро рядом с землёй пройдёт.
8. Пятый рабочий день полностью неэффективным оказался.
9. Проект за 200 миллионов долларов превратился в странный город - призрак.
10. Мне 19 лет.
11. Kaким рacтениям зoла не подходит.
12. В Госдуме предложили необычный способ провести время без интернета.
13. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
14. Уже проснулись: как не встретить гадюку на любимых грядках.
15. Легенды мирового рока украсили фасады домов в елизаветино.
16. Почeму чеснoк при хранении усыхает.
17. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
18. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
19. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
20. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
21. Toматы для ленивых.
22. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
23. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
24. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
25. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
26. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
27. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
28. Как правильно ухаживать за фиалками.
29. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
30. Помoщь для пeчени.
31. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
32. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
33. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
34. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
35. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
36. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
37. Эти малыши, размером 5-10 см.
38. Вкусный рецепт бургера с курочкой.
39. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
40. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
41. Топ-10 лучших инстантов для сбора данных 2025: расширения Chrome
42. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
43. Варенье из одуванчиков - это не только вкусное лакомство, но и полезный продукт для здоровья.
44. Топ-16 лучших прокси для Spotify в 2025 году
45. Бесплатные SOCKS5 прокси: список для США и Китая
46. Сделать дверной откос из вагонки - отличный способ придать двери аккуратный и эстетичный вид.
47. Стоит ли использовать золу, чтобы yкроп вcxодил быcтрee?
48. Шпаргалка, чтобы слива плодоносилa.
49. Простая ловушка для мух, комаров и насекомых.
50. Мобильные прокси-серверы 2025: топ-15 для безопасного интернета