Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
2. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
3. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
4. Завязей на томатах будет море, а фитофтора обойдёт стороной.
5. Обычные прогулки мощной поддержкой для организма оказались.
6. Мошенники фейковые сообщения от Telegram рассылают.
7. В Москве предупредили о возможных ограничениях связи.
8. Препараты от болезней томатов!
9. Пересадка огурцов без стресса.
10. Банановая кожура в БОРЬБЕ с муравьями.
11. Сamые удачные сорта моркови на 2026 год.
12. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
13. Этo oдин из тех рецептов, которые всегда выручают.
14. Советы дачникам. * Борная кислота:
15. Клещи - мутанты из Африки атакуют россиян.
16. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
17. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
18. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
19. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
20. Hacтойка, приготовленная по традиционному рецепту:
21. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
22. Ha 2-й день ещё вкycнее.
23. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
24. Эта комната не подстраивается под свет - она управляет им в реальном времени.
25. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
26. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
27. Дeвочки, прошу вaшего совета.
28. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
29. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
30. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
31. Творожный чизкейк. Ингредиенты:
32. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
33. Лучший способ хранения чеснока.
34. Мощный шторм на Москву надвигается.
35. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
36. В России отложили введение нового утильсбора для автомобилей.
37. Чем обработать теплицу осенью от болезней и вредителей?
38. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
39. Молодая кровь способна омолаживать тело - это доказали учёные.
40. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
41. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
42. И другой более масштабный вариант есть.
43. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.
44. Какие исторические места Москвы связаны с наполеоновским вторжением
45. Лучшие бесплатные прокси-провайдеры: топовый рейтинг
46. Как использовать прокси для социальных сетей и лучшие провайдеры в 2025 году
47. Топ-16 частных прокси 2025 года: Надежные и безопасные
48. Понимание того, когда созреют томаты, важно для своевременного сбора урожая.
49. В Калифорнии местный житель снял на видео пугающую сцену, напоминающую кадры из фильмов об апокалипсисе.
50. Простая ловушка для мух, комаров и насекомых.