Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Супружеская поездка в ЮАР трагедией уже в первый день обернулась.
2. Мой мужчина в разводе.
3. Крупный сбой Beget затронул работу сайтов рунета.
4. Бабушка маму родила уже за 30, во втором браке.
5. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
6. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
7. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
8. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
9. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
10. Еда - это язык, который понимают все без единого слова.
11. Это не обычное варенье, где яблоки плавают в литре сиропа.
12. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
13. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
14. Должны были с женой и родителями лететь на свадьбу сестры.
15. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
16. Я не худею к морю - езжу в Турцию.
17. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
18. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
19. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
20. В России временно разрешили производство бензина и дизеля более низких экологических классов.
21. Много лет отжиралась, но сейчас железно решила сесть на диету.
22. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
23. Некоторые древние технологии до сих пор превосходят современные достижения науки.
24. С 1 сентября в России планируют обновить перечень медицинских специальностей.
25. Завязей на томатах будет море, а фитофтора обойдёт стороной.
26. Мошенники фейковые сообщения от Telegram рассылают.
27. Мой личный лайфхак относительно учёбы.
28. Почему обеспеченные люди реже приложения для знакомств выбирают.
29. Проект за 200 миллионов долларов превратился в странный город - призрак.
30. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
31. Hикогда не выpaщивайте tomаты и перец без этого!
32. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
33. Мне 19 лет.
34. Мой способ подкормки молодой рассады томатов.
35. Исследование рост половой дисфункции среди молодого поколения показало.
36. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
37. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
38. Сekрет пышной и сладкой морковки - простая подкормка!
39. Ceйчас я делаю блинчики, которые тают во рту!
40. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
41. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
42. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
43. Замиокулькас. Это следует сделать сразу после покупки.
44. И еxaть никуда не нaдо.
45. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
46. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
47. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
48. Яркий акцент для сада.
49. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
50. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений: