Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
2. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
3. Всю жизнь терпеть не могу своё имя - Валентина.
4. Муж спросил, когда я сильнее всего пугалась в жизни.
5. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
6. Четыре салата в банках на зиму.
7. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
8. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
9. За долгое время наш мир сталкивался с невероятно странными событиями.
10. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
11. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
12. Хотите получить огурцы без болезней и с хорошим здоровьем?
13. В популярных духах обнаружили потенциально опасные вещества.
14. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
15. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
16. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
17. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
18. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
19. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
20. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
21. Нетипичные плодовые культуры для северного сада.
22. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
23. Mышь в yлье.
24. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
25. "Tы понимаешь, что тебя уже нет?
26. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
27. В Мавритании ходит один из самых впечатляющих поездов на планете.
28. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
29. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
30. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
31. Натали вспомнила мужа: "третья новогодняя ночь без него.
32. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
33. Начинайте готовить ягодные кустарники к зимовке.
34. Замиокулькас. Это следует сделать сразу после покупки.
35. Это лучшее, что я когда-либо ела!
36. Формировать смородиновый куст можно как весной, так и осенью.
37. В России начались испытания новой вакцины против аллергии.
38. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
39. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
40. Яркий акцент для сада.
41. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
42. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
43. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
44. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
45. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
46. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
47. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
48. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
49. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
50. Вот ещё пару советов, как держать гриль чище.