Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Я в небогатой семье с двумя братьями росла.
2. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
3. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
4. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
5. Мы с мужем очень сильно поругались, решили разводиться.
6. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
7. Депутат Горелкин слухи о блокировке Steam в России развеял.
8. Сняли лук или ранний картофель и бросили голую грядку до весны?
9. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
10. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
11. По вкусу, как мармелад: в сезон закрываю побольше.
12. Я не худею к морю - езжу в Турцию.
13. На море вляпалась в курортный роман.
14. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
15. Современный гейминг оказался исключительно полезен для человеческой психики.
16. Хроническая бедность способна значительно ускорять естественное старение организма.
17. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
18. Мы удаляем листья у томата по правилам!
19. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
20. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
21. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
22. В популярных духах обнаружили потенциально опасные вещества.
23. Мой личный лайфхак относительно учёбы.
24. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
25. Хитрости выращивания кабачков:
26. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
27. Почему обеспеченные люди реже приложения для знакомств выбирают.
28. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
29. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
30. Три народных средства для крепкой рассады томатов.
31. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
32. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
33. Нежный пирог черный принц из варенья.
34. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
35. Mинтай можно без особого труда приготовить вкусно.
36. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
37. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
38. Не у всех укроп растёт как сорняк, в огромных количествах.
39. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
40. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
41. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
42. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
43. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
44. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
45. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
46. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
47. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
48. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
49. Что делать, если листья огурцов стали "Мраморные"?
50. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.