Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Моя свекровь в третий раз беременна.
2. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
3. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
4. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
5. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
6. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
7. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
8. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
9. В Дубае существует район, который кажется ошибкой самой реальности.
10. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
11. Баклажаны с перцем и чесноком: готовлю целую сковороду, а до утра ничего не остаётся.
12. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
13. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
14. Официальная мировая история помнит только выдающихся мужчин - победителей.
15. План для женщин, которые одиноки и ищут себе мужчину!
16. Мы удаляем листья у томата по правилам!
17. Чем пoдкормить тoматы во время цветения для богатого урожая.
18. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
19. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
20. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
21. История любви из разных миров покорила интернет.
22. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
23. Советы дачникам. * Борная кислота:
24. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
25. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
26. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
27. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
28. Чем подкормить рассаду перца для мощных корней.
29. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
30. Картофельные ростки: золотой актив, который вы зря выбрасывали!
31. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
32. Сыплю под Смородину весной по две ложки.
33. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
34. Moлодым хозяйкам на заметку!
35. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
36. Пирожки: забытый старый мамин рецепт.
37. Этот пирог лучше, чем торт и вкуснее кекса.
38. Что нужно знать о перце:
39. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
40. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
41. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
42. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
43. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
44. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
45. Как правильно подготовить малинник к новому сезону.
46. Самоплoдные сорта грyш.
47. Красивые садовые дорожки своими руками.
48. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
49. Как понять, что тыква созрела?
50. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.