Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
2. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
3. Соседка уже спрашивает, когда будем сажать озимый чеснок.
4. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
5. Пустая грядка в августе не обязана два месяца выращивать сорняки.
6. Должны были с подружкой пойти в субботу на пробежку.
7. Баклажаны отдельно не жарю.
8. Четыре салата в банках на зиму.
9. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
10. Современный гейминг оказался исключительно полезен для человеческой психики.
11. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
12. Здоровый быт начинается с внимания к предметам, которые вас окружают.
13. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
14. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
15. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
16. Роза осирия - магия двух оттенков.
17. Что я делаю с чесноком, чтобы он снова стал зелёным.
18. Северная Корея правила ядерного ответа страны изменила.
19. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
20. Чтo hужно сделать для малины весной.
21. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
22. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
23. В Алматы установили памятник истории спасения собаки живой цепью.
24. 1941 год. Украина, первые месяцы оккупации.
25. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
26. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
27. Toлько не забудьте peцепт!
28. Рецепт меренгового рулета.
29. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
30. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
31. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
32. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
33. Hacтойка, приготовленная по традиционному рецепту:
34. Замечательный закусочный торт из нежной куриной грудки!
35. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
36. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
37. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
38. Давайте мы приготовим вкуснейшую аджику из cлив.
39. Творожный чизкейк. Ингредиенты:
40. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
41. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
42. Секс помогает улучшать память - к такому выводу пришли американские учёные.
43. Казалось бы, простая рамка для фото.
44. Топ - 5 идей для уюта на даче осенью.
45. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
46. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
47. 5 секретов обильного урожая огурцов.
48. Как спасти огурцы от мучнистой росы.
49. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
50. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.