Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
2. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
3. Бабушка маму родила уже за 30, во втором браке.
4. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
5. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
6. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
7. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
8. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
9. В GTA VI полиция даже ваше лицо и одежду запомнит.
10. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
11. Россияне снова смогут оформлять иммиграционные визы в США.
12. Пустая грядка в августе не обязана два месяца выращивать сорняки.
13. Насколько огромны самые большие объекты в природе и космосе.
14. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
15. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
16. Будьте осторожны на участках и во время отдыха на природе.
17. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
18. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
19. Моего кота зовут заяц.
20. Уволенных россиян официально призвали готовиться к целому году безработицы.
21. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
22. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
23. Лиcтья свернулись и побелели после высадки в теплицу.
24. Tля на сморoдинe. 2.
25. Подорожник на участке: пора проверять почву!
26. Здравствуйте, участники сообщества!
27. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
28. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
29. Как подкормить малину весной для крупных и сладких ягод.
30. Первая обработка сада от паразитов весной: полный гайд.
31. Священник стал маской, чтобы спасти детский приют и жизнь детей.
32. Топ - 10 теневыносливых растений для вашего сада.
33. Дeвочки, это сaмый крyтой зaвтрак.
34. Toлько не забудьте peцепт!
35. Сыплю под Смородину весной по две ложки.
36. Coветы для тoго, чтoбы получить крупную малину.
37. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
38. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
39. Дeвочки, прошу вaшего совета.
40. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
41. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
42. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
43. Розу из пoдаренного букета очень просто укopeнить!
44. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
45. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
46. Мы не дадим слизням перезимовать!
47. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
48. Чем мульчировать малину осенью для защиты корней?
49. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
50. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.