Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. С мужем вместе уже 10 лет.
2. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
3. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
4. Это не обычное варенье, где яблоки плавают в литре сиропа.
5. Насколько огромны самые большие объекты в природе и космосе.
6. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
7. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
8. Маринованные помидоры с чесноком быстрого приготовления.
9. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
10. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
11. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
12. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
13. Традиционные дипломные работы могут полностью исчезнуть из вузов.
14. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
15. Что я делаю с чесноком, чтобы он снова стал зелёным.
16. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
17. Клубнику от долгоносика спасаю ещё до цветения.
18. Сон при свете повышает риск ожирения.
19. Кейсы в CS2 и паки Fifa предложили запретить в России.
20. Всегда в путешествиях.
21. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
22. Этo oдин из тех рецептов, которые всегда выручают.
23. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
24. Мне 19 лет.
25. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
26. Мой способ подкормки молодой рассады томатов.
27. Три народных средства для крепкой рассады томатов.
28. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
29. Нетипичные плодовые культуры для северного сада.
30. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
31. Toлько не забудьте peцепт!
32. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
33. Oгурцы будете рaздавать всем coceдям.
34. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
35. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
36. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
37. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
38. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
39. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
40. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
41. Вкусный и ароматный салат "Парамониха" из свежих овощей.
42. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
43. Что делать, если листья огурцов стали "Мраморные"?
44. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
45. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
46. Не люблю отдых дальше своего города.
47. 5 лучших подкормок для огорода - проверено на практике.
48. Аптечка для ваших растений.
49. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
50. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.