Лайфхаки

Маленькие, полезные хитрости

Ограничение на одновременные подключения


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Последние обновления на сайте:

1. Москвичка девять месяцев не подозревала, что носит ребёнка.
2. Мы с мужем квартиру в старом двухэтажном доме купили.
3. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
4. Некоторые тайны земли до сих пор не получили окончательного объяснения.
5. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
6. Я в небогатой семье с двумя братьями росла.
7. Креветки, которые и улетают в первую очередь.
8. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
9. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
10. Кислую сливу, от которой за столом морщатся, я берегу для джема.
11. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
12. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
13. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
14. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
15. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
16. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
17. Официальная мировая история помнит только выдающихся мужчин - победителей.
18. Сезон клубники в самом разгаре!
19. Дочку с самого детства учила нести ответственность за свои поступки.
20. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
21. Без иронии, вначале попробуйте, это очень вкусный напиток.
22. Обычный поход в туалет потерей памяти закончился.
23. Опасный хантавирус за пределы лайнера вышел.
24. В России запретят параллельный импорт компьютерной техники с 27 мая.
25. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
26. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
27. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
28. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
29. В Алматы установили памятник истории спасения собаки живой цепью.
30. 1941 год. Украина, первые месяцы оккупации.
31. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
32. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
33. Слова - обереги, которые важно знать:
34. HE поливайте, когда земля сухая!
35. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
36. Kaким растениям зола не подходит.
37. Hикогда не выращивайте tomаты и перец без этого!
38. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
39. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
40. Не у всех укроп растёт как сорняк, в огромных количествах.
41. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
42. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
43. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
44. Caлат "Мaкcим". Ингредиенты:
45. Не пробовали посадить лук китайским способом?
46. Арапайма звучит как имя из глубокой древности, и недаром.
47. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
48. Секрет крупного озимого чеснока - простая подкормка при посадке!
49. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
50. Чем подкармливать морковь в конце лета.