Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
2. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
3. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
4. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
5. Из одного кочана делаю целую сковороду капустных шницелей.
6. Должны были с женой и родителями лететь на свадьбу сестры.
7. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
8. Цветы на томатах есть, а завязи нет: что я делаю в жару.
9. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
10. На море вляпалась в курортный роман.
11. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
12. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
13. Haтуральная защита капусты от вредителей.
14. Будьте осторожны на участках и во время отдыха на природе.
15. Мы удаляем листья у томата по правилам!
16. Я любовник замужней женщины.
17. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
18. Роза осирия - магия двух оттенков.
19. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
20. В Москве предупредили о возможных ограничениях связи.
21. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
22. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
23. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
24. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
25. Рецепт меренгового рулета.
26. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
27. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
28. Как заставить замиокулькас активно выпускать новые побеги.
29. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
30. Не пробовали посадить лук китайским способом?
31. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
32. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
33. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
34. Моя соседка никак не могла продать дорогущий антикварный комод.
35. И еxaть никуда не нaдо.
36. Moжет кто не знал этoго.
37. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
38. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
39. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
40. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
41. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
42. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
43. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
44. Маленькая шпаргалка по томатам.
45. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
46. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
47. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
48. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
49. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
50. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.