Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
2. Nasa показало вселенную с невероятным уровнем детализации.
3. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
4. После уборки чеснока всегда остаются повреждённые головки.
5. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
6. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
7. Насколько огромны самые большие объекты в природе и космосе.
8. "Обожаю" родню, кто бы знал ….
9. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
10. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
11. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
12. Современный гейминг оказался исключительно полезен для человеческой психики.
13. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
14. Сезон клубники в самом разгаре!
15. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
16. Мы удаляем листья у томата по правилам!
17. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
18. Добрый день! Вдруг кто с подобным … сталкивался.
19. Российские медики о резком росте опасных кишечных инфекций предупредили.
20. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
21. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
22. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
23. Одни из первых протезов использовали ещё в эпоху древнего Рима.
24. Hикогда не выpaщивайте tomаты и перец без этого!
25. Первая обработка сада от паразитов весной: полный гайд.
26. Мне 19 лет.
27. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
28. Домашний интернет в России начали ограничивать для активных пользователей.
29. HE поливайте, когда земля сухая!
30. Всем садоводам нужно знать.
31. Этой весной Россию накроет массовое нашествие комаров и клещей.
32. Сekрет пышной и сладкой морковки - простая подкормка!
33. Фунчоза с овощами.
34. Самые полезные виды варенья.
35. Про выращивание укропа.
36. Когдa нeльзя сaжать и cеять.
37. Как заставить замиокулькас активно выпускать новые побеги.
38. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
39. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
40. Замиокулькас. Это следует сделать сразу после покупки.
41. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
42. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
43. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
44. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
45. В России начались испытания новой вакцины против аллергии.
46. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
47. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
48. Самодельный светильник - маленькое чудо для спальни.
49. В московских клиниках лечение на современном оборудовании нормой стало.
50. Защита от муравьев.