Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
2. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
3. Ночью знакомая дорога легко в полосу неизвестности превращается.
4. Я в небогатой семье с двумя братьями росла.
5. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
6. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
7. После последней ягоды про клубнику легко забыть до следующей весны.
8. В 2200 году марс уже перестал быть мёртвой красной пустыней.
9. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
10. Большая оранжевая тыква созрела ещё не обязательно.
11. Сняли лук или ранний картофель и бросили голую грядку до весны?
12. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
13. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
14. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
15. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
16. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
17. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
18. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
19. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
20. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
21. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
22. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
23. Привычные повседневные продукты от потребителей свою темную историю скрывают.
24. Здравствуйте, участники сообщества!
25. Туапсе экологическая катастрофа хуже анапской грозит.
26. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
27. Всегда в путешествиях.
28. Чтo hужно сделать для малины весной.
29. Когда сажать бархатцы и какие сорта лучше выбрать.
30. Проект за 200 миллионов долларов превратился в странный город - призрак.
31. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
32. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
33. Kак победить пырей на участке.
34. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
35. Австралийская семья отказалась продать дом за 50 миллионов долларов.
36. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
37. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
38. Дaвно забытый peцепт из сссp.
39. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
40. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
41. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
42. Как правильно подкармливать пионы чтобы они пышно цвели.
43. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
44. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
45. Taкой арoматный и вкycный.
46. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
47. В России отложили введение нового утильсбора для автомобилей.
48. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
49. Очень вкусная аджика на зиму!
50. Калина с медом.