Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Критическая брешь в экосистеме Apple превратила обычный веб - серфинг в тотальную зачистку криптокошельков.
2. Крупный сбой Beget затронул работу сайтов рунета.
3. Австралия остаётся единственным континентом, где природа пытается тебя убить.
4. В этих местах одна ошибка может превратить путешествие в борьбу за жизнь.
5. Москвичка девять месяцев не подозревала, что носит ребёнка.
6. Удивительные товарищи всё-таки - родственнички.
7. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
8. Муж спросил, когда я сильнее всего пугалась в жизни.
9. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
10. "Обожаю" родню, кто бы знал ….
11. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
12. На море вляпалась в курортный роман.
13. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
14. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
15. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
16. Как-то довелось быть свидетелем диалога двух дачниц.
17. Некоторые археологические открытия наше прошлое слишком странным делают.
18. У меня сложные отношения со свекрами.
19. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
20. Туапсе экологическая катастрофа хуже анапской грозит.
21. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
22. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
23. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
24. Почему нужно срезать верхушки у яблонь.
25. Этo oдин из тех рецептов, которые всегда выручают.
26. 10 растений с белыми цветами.
27. Топ - 10 теневыносливых растений для вашего сада.
28. Уже проснулись: как не встретить гадюку на любимых грядках.
29. Kaким растениям зола не подходит.
30. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
31. Рецепт меренгового рулета.
32. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
33. Австралийская семья отказалась продать дом за 50 миллионов долларов.
34. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
35. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
36. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
37. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
38. Как правильно подкармливать пионы чтобы они пышно цвели.
39. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
40. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
41. Вмecто тыcячи слов.
42. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
43. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
44. Зачем нам медный и железный купорос.
45. Чем обработать теплицу осенью от болезней и вредителей?
46. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
47. Яркий акцент для сада.
48. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
49. Чем мульчировать малину осенью для защиты корней?
50. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.