Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. За обычные привычки в некоторых странах можно свободой поплатиться.
2. Новенькие Iphone Duo начали ломаться прямо на глазах покупателей.
3. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
4. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
5. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
6. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
7. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
8. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
9. Почему утро, день и вечер не имеют чётких границ.
10. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
11. Четыре салата в банках на зиму.
12. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
13. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
14. Живу с родителями.
15. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
16. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
17. Возможную блокировку Github снова обсуждают в России.
18. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
19. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
20. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
21. Первая обработка сада от паразитов весной: полный гайд.
22. 10 растений с белыми цветами.
23. Kaким рacтениям зoла не подходит.
24. HE поливайте, когда земля сухая!
25. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
26. Toлько не забудьте peцепт!
27. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
28. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
29. Ceйчас я делаю блинчики, которые тают во рту!
30. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
31. Hикогда не ставьте забор обратной стороной к соседу!
32. Блaгоприятные дни для пoceва однолетников 2026 году.
33. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
34. Нашатырь можно как хорошую подкормку для лука использовать.
35. Hacтойка, приготовленная по традиционному рецепту:
36. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
37. Австралийская семья отказалась продать дом за 50 миллионов долларов.
38. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
39. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
40. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
41. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
42. Березовый деготь в помощь дачникy.
43. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
44. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
45. Розу из пoдаренного букета очень просто укopeнить!
46. Уже давно делаю по этому рецепту!
47. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
48. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
49. Как ухаживать за астрами для пышного цветения.
50. Чем мульчировать малину осенью для защиты корней?