Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Петербургские мошенники сами стали жертвой - у их курьерши вырвали 3, 1 миллиона, выдоенных из 76-летней пенсионерки.
2. Перед похолоданием целый таз зелёных помидоров сняла.
3. После последней ягоды про клубнику легко забыть до следующей весны.
4. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
5. Насколько огромны самые большие объекты в природе и космосе.
6. Яблок много - вроде радоваться надо.
7. Уже нет сил постоянно ругаться со свекровью.
8. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
9. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
10. Я не худею к морю - езжу в Турцию.
11. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
12. История доказывает, что многие теории заговора со временем становятся фактами.
13. Российские медики о резком росте опасных кишечных инфекций предупредили.
14. Малина в июне в правильной подкормке нуждается.
15. Без иронии, вначале попробуйте, это очень вкусный напиток.
16. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
17. Сон при свете повышает риск ожирения.
18. Работа в кровати незаметно здоровье человека разрушает.
19. Турецкий огуречный салат.
20. Хитрости выращивания кабачков:
21. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
22. Совет по рассаде томатов.
23. Полёты к луне снова реальностью спустя десятилетия стали.
24. Топ - 10 теневыносливых растений для вашего сада.
25. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
26. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
27. Все лето держу окна в доме отрытыми и не боюсь комаров.
28. Всем садоводам нужно знать.
29. Редкий секс с повышенным риском смертности и болезней сердца связан.
30. Нежный пирог черный принц из варенья.
31. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
32. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
33. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
34. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
35. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
36. Натали вспомнила мужа: "третья новогодняя ночь без него.
37. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
38. Рецепт плюшек: Ингредиенты для опары:
39. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
40. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
41. Этот робот не просто убирает ваш дом - он его изучает.
42. Полезная памятка средств для сада и огорода.
43. Kapтошка под соломой - мoй любимый спocoб пocaдки!
44. Ни один шашлычек у нас не обходят без этой закуски!
45. Яркий акцент для сада.
46. Топ - 5 идей для уюта на даче осенью.
47. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
48. Чем подкармливать морковь в конце лета.
49. Калина с медом.
50. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.