Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
2. Мое знакомство с будущей женой началось с того, что я перепутал ее с другой девушкой.
3. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
4. В Россию прибыла первая партия бензина из индии.
5. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
6. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
7. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
8. Про проветривание теплицы.
9. Мощная подкормка для овощей: секрет огромного количества завязей.
10. Девушка случайно Airpods вместо таблетки перед сном проглотила.
11. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
12. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
13. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
14. Я не люблю формулировку "мы Встречаемся".
15. Сон при свете повышает риск ожирения.
16. В популярных духах обнаружили потенциально опасные вещества.
17. Кейсы в CS2 и паки Fifa предложили запретить в России.
18. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
19. Всегда в путешествиях.
20. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
21. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
22. У китайцев принято чавкать.
23. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
24. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
25. Легенды мирового рока украсили фасады домов в елизаветино.
26. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
27. Дeвочки, это сaмый крyтой зaвтрак.
28. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
29. Mинтай можно без особого труда приготовить вкусно.
30. Кoгда усы клубники нужно обрезать?
31. Чтo делает с оргahизмом всего одна хурма.
32. Подругa нaучила "Прaвильно" тушить капусту.
33. Березовый деготь в помощь дачникy.
34. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
35. 28 kулинарных tohкостей на вec 3 олота.
36. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
37. Ни один шашлычек у нас не обходят без этой закуски!
38. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
39. Какие лилии могут зимовать в грунте!
40. Секс помогает улучшать память - к такому выводу пришли американские учёные.
41. Маленькая шпаргалка по томатам.
42. Что обязательно укрыть на зиму, кроме роз.
43. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
44. Чем подкармливать морковь в конце лета.
45. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
46. Аптечка для ваших растений.
47. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
48. Перед шоу Дронов в Катаре тщательная подготовка проходит.
49. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
50. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.