Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
2. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
3. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
4. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
5. Как-то довелось быть свидетелем диалога двух дачниц.
6. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
7. Плитка из ведерка от майонеза: дачный шик своими руками.
8. Моя мама очень долго болью в коленях мучилась.
9. Важные правила подкормки, о которых нельзя забывать.
10. Работа в кровати незаметно здоровье человека разрушает.
11. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
12. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
13. Как буддийские монахи вышли на протест и столкнулись с полицией.
14. Банановая кожура в БОРЬБЕ с муравьями.
15. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
16. Полёты к луне снова реальностью спустя десятилетия стали.
17. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
18. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
19. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
20. В России обсуждают усиление контроля переписок с помощью ИИ.
21. Клещи - мутанты из Африки атакуют россиян.
22. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
23. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
24. Замечательный закусочный торт из нежной куриной грудки!
25. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
26. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
27. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
28. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
29. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
30. С легкой и пушистой текстурой, это самый мягкий торт.
31. Вкусный и ароматный салат "Парамониха" из свежих овощей.
32. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
33. Малина ведрами. Как удается получать такой урожай?
34. Лучший способ хранения чеснока.
35. Клубника на подоконнике - аромат лета круглый год!
36. Полезная свекольная аджика на зиму.
37. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
38. 5 секретов обильного урожая огурцов.
39. Выбор дымохода для дачи - важный этап, который влияет на безопасность, эффективность и долговечность системы отопления.
40. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
41. Лишь в том случае, если клубника мельчает или ягод мало.
42. Знаете, зачем завязывают ботву чеснока в узел?
43. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
44. Топ-15 инструментов для сбора email-адресов для эффективной работы в 2025 году
45. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
46. Что делать, если желтеют кончики пера у лука.
47. Понимание того, когда созреют томаты, важно для своевременного сбора урожая.
48. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
49. Как заказать товары с Amazon в Москву: полное руководство
50. Какая история стоит за созданием главной площади города