Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
2. Четыре салата в банках на зиму.
3. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
4. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
5. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
6. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
7. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
8. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
9. В России временно разрешили производство бензина и дизеля более низких экологических классов.
10. Средства для подкормки помидоров.
11. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
12. Мы удаляем листья у томата по правилам!
13. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
14. Так томаты в теплицу не просто так высаживают.
15. Возможную блокировку Github снова обсуждают в России.
16. Здравствуйте, участники сообщества!
17. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
18. Работа в кровати незаметно здоровье человека разрушает.
19. Повеяло летом. Клубника рекорд установила.
20. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
21. Три народных средства для крепкой рассады томатов.
22. Токсичное поведение на работе может стать причиной увольнения.
23. Ceкрет богатого урожая тoматов.
24. В Мавритании ходит один из самых впечатляющих поездов на планете.
25. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
26. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
27. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
28. Натали вспомнила мужа: "третья новогодняя ночь без него.
29. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
30. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
31. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
32. И еxaть никуда не нaдо.
33. Давайте мы приготовим вкуснейшую аджику из cлив.
34. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
35. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
36. Морозостойкие сорта гибридной хурмы.
37. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
38. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
39. Казалось бы, простая рамка для фото.
40. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
41. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
42. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
43. Топ-11 открытых инструментов для веб-скрапинга в 2025 году
44. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
45. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
46. Лучшие Instagram-прокси 2025: полное руководство
47. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
48. 8 Лучших Прокси для Безопасного Серфинга в 2025
49. Топ-16 лучших прокси для Reddit в 2025 году: рейтинг и обзор
50. Лучшие скраперы Instagram 2025: полное руководство