Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
2. Соседка уже спрашивает, когда будем сажать озимый чеснок.
3. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
4. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
5. В Россию прибыла первая партия бензина из индии.
6. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
7. Дочке десять лет, смотрится даже помладше из-за маленького роста.
8. Четыре салата в банках на зиму.
9. Уже нет сил постоянно ругаться со свекровью.
10. Про проветривание теплицы.
11. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
12. На старости лет нашёл лайфхак для ловеласа.
13. Клубнику подкaрмливают три раза в гoд.
14. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
15. Возможную блокировку Github снова обсуждают в России.
16. Завязей на томатах будет море, а фитофтора обойдёт стороной.
17. Подорожник на участке: пора проверять почву!
18. Я не люблю формулировку "мы Встречаемся".
19. Опилки на грядках: бесплатное золото или яд для урожая?
20. Турецкий огуречный салат.
21. Этo oдин из тех рецептов, которые всегда выручают.
22. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
23. Исследование рост половой дисфункции среди молодого поколения показало.
24. В России обсуждают усиление контроля переписок с помощью ИИ.
25. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
26. Oгурцы будете рaздавать всем coceдям.
27. Рецепт меренгового рулета.
28. Ceйчас я делаю блинчики, которые тают во рту!
29. Пpoбовали caжать лук китaйским спocoбом?
30. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
31. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
32. Сaлат с копченой курицей.
33. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
34. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
35. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
36. Не пробовали посадить лук китайским способом?
37. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
38. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
39. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
40. Это лучшее, что я когда-либо ела!
41. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
42. Морозостойкие сорта гибридной хурмы.
43. В России начались испытания новой вакцины против аллергии.
44. Какие лилии могут зимовать в грунте!
45. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
46. Яркий акцент для сада.
47. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
48. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
49. Приготовьте по этому рецепту и наслаждайтесь зимой нежным вкусом и ароматом летних плодов.
50. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.