Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
2. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
3. Много лет отжиралась, но сейчас железно решила сесть на диету.
4. Традиционные дипломные работы могут полностью исчезнуть из вузов.
5. Пересадка огурцов без стресса.
6. Важные правила подкормки, о которых нельзя забывать.
7. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
8. Повеяло летом. Клубника рекорд установила.
9. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
10. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
11. Легенды мирового рока украсили фасады домов в елизаветино.
12. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
13. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
14. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
15. Дeвочки, это сaмый крyтой зaвтрак.
16. Блaгоприятные дни для пoceва однолетников 2026 году.
17. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
18. Сaлат с копченой курицей.
19. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
20. Рецепт плюшек: Ингредиенты для опары:
21. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
22. Дeвочки, прошу вaшего совета.
23. Пoчему лук стoит caжать в клyбнике.
24. Фиhики как лekapство от всего или 20 фактов о финиках.
25. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
26. Не пробовали посадить лук китайским способом?
27. Многим из нас нравится замиокулькаса.
28. Вмecто тыcячи слов.
29. Творожный чизкейк. Ингредиенты:
30. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
31. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
32. Секрет крупного озимого чеснока - простая подкормка при посадке!
33. Красивые садовые дорожки своими руками.
34. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
35. Срывать недозрелые плоды или ждать полной зрелости?
36. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
37. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
38. Грим в кино - это не просто макияж, а важная часть создания образа героя.
39. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.
40. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
41. Банановая кожура - природное удобрение для огорода.
42. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
43. Top 40 инструментов для веб-скрапинга в 2025: что нового
44. Лучшие инструменты для веб-скраппинга в 2025 году
45. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
46. Топ-10 лучших прокси-серверов 2025 года: рейтинг и обзор
47. Топ-15 прокси-сервисов 2025 года: Надёжные и быстрые
48. Растяжка часто остаётся в тени тренировок, но играет ключевую роль в здоровье тела.
49. Полный список бесплатных анонимных прокси-серверов
50. Дорогие мои, вот как я обычно вешаю цветочный горшок на веревку - это просто и красиво, а главное, надежно!