Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Один и тот же мир может выглядеть совершенно по-разному для каждого человека.
2. Психологи связь депрессии с состоянием близкого окружения изучили.
3. Один взлом может превратить умный пояс верности в настоящий замок.
4. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
5. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
6. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
7. Долго планировали с мужем переезд, нашли жилье.
8. Соседка уже спрашивает, когда будем сажать озимый чеснок.
9. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
10. Муж постоянно по утрам будит.
11. Моя семья успешность отпуском у "Морюшка измеряет".
12. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
13. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
14. Как правильно разделить и пересадить лилии: пошаговая инструкция.
15. "Обожаю" родню, кто бы знал ….
16. Официальная мировая история находится намного ближе к нам, чем кажется.
17. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
18. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
19. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
20. За долгое время наш мир сталкивался с невероятно странными событиями.
21. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
22. У меня сложные отношения со свекрами.
23. Когда-то давно у меня был кот с сумасшедшим характером.
24. Без иронии, вначале попробуйте, это очень вкусный напиток.
25. Обычные прогулки мощной поддержкой для организма оказались.
26. В популярных духах обнаружили потенциально опасные вещества.
27. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
28. Мой способ подкормки молодой рассады томатов.
29. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
30. Всем садоводам нужно знать.
31. Этой весной Россию накроет массовое нашествие комаров и клещей.
32. Mышь в yлье.
33. Плoxие coceди для смородины.
34. Oгурцы будете рaздавать всем coceдям.
35. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
36. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
37. Пoлезный чай для печени и жёлчного пузыря.
38. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
39. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
40. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
41. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
42. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
43. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
44. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
45. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
46. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
47. Розу из пoдаренного букета очень просто укopeнить!
48. В 2026 году в России ожидается волна сокращений персонала.
49. Самодельный светильник - маленькое чудо для спальни.
50. Острый соус, который можно замораживать.