Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Чуть не оставила фасоль на грядке до полного высыхания.
2. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
3. Баклажаны отдельно не жарю.
4. Насколько огромны самые большие объекты в природе и космосе.
5. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
6. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
7. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
8. Собрали последнюю малину и забыли про кусты?
9. По вкусу, как мармелад: в сезон закрываю побольше.
10. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
11. Haтуральная защита капусты от вредителей.
12. На старости лет нашёл лайфхак для ловеласа.
13. Июнь - решающий месяц в борьбе с монилиозом в саду.
14. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
15. Роза осирия - магия двух оттенков.
16. Три ошибки дачников, из-за которых поликарбонат быстро разрушается.
17. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
18. Мой способ подкормки молодой рассады томатов.
19. Картофельные ростки: золотой актив, который вы зря выбрасывали!
20. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
21. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
22. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
23. Самые полезные виды варенья.
24. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
25. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
26. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
27. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
28. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
29. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
30. Пирожки: забытый старый мамин рецепт.
31. Замечательный закусочный торт из нежной куриной грудки!
32. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
33. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
34. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
35. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
36. Фиhики как лekapство от всего или 20 фактов о финиках.
37. Вмecто тыcячи слов.
38. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
39. Работа над настенной полкой своими руками успехом завершилась.
40. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
41. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
42. Срывать недозрелые плоды или ждать полной зрелости?
43. Создать овальные подносы можно легко, используя только свои руки.
44. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
45. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
46. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
47. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
48. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
49. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
50. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.