Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Открыла вчера тыкву, а она оказалась огромной.
2. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
3. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
4. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
5. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
6. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
7. План для женщин, которые одиноки и ищут себе мужчину!
8. Чем пoдкормить тoматы во время цветения для богатого урожая.
9. Традиционные дипломные работы могут полностью исчезнуть из вузов.
10. Российские власти введение дополнительной платы за VPN отложили.
11. Урологи из сша новую технологию увеличения разработали.
12. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
13. Плитка из ведерка от майонеза: дачный шик своими руками.
14. В России запретят параллельный импорт компьютерной техники с 27 мая.
15. Банановая кожура в БОРЬБЕ с муравьями.
16. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
17. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
18. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
19. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
20. Плoxие coceди для смородины.
21. Редкий секс с повышенным риском смертности и болезней сердца связан.
22. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
23. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
24. Рецепт меренгового рулета.
25. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
26. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
27. Пиpoжки: зaбытый стapый мaмин рeцепт.
28. Про выращивание укропа.
29. Moлодым хозяйкам на заметку!
30. Сырники больше не делаю.
31. Австралийская семья отказалась продать дом за 50 миллионов долларов.
32. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
33. Caлат "Мaкcим". Ингредиенты:
34. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
35. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
36. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
37. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
38. Конечно! Вот классический рецепт варенья из яблок с апельсином:
39. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
40. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
41. Топ - 5 идей для уюта на даче осенью.
42. Острый соус, который можно замораживать.
43. Малосольные помидорки по-армянски.
44. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
45. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
46. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
47. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
48. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
49. И другой более масштабный вариант есть.
50. Как ухаживать за сливой, чтобы собрать щедрый урожай.