Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Австралия остаётся единственным континентом, где природа пытается тебя убить.
2. На земле существуют места, которые выглядят как ошибка реальности.
3. Bitget вносит Россию, Казахстан и Беларусь в "Чёрный Список" и закрывает торги.
4. Перед похолоданием целый таз зелёных помидоров сняла.
5. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
6. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
7. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
8. Малина отплодоносила - и рука так и тянется оставить всё до весны.
9. Открыла вчера тыкву, а она оказалась огромной.
10. Россияне снова смогут оформлять иммиграционные визы в США.
11. С 1 марта банки будут блокировать переводы при обнаружении вируса.
12. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
13. Чем заболела груша и как ее лечить?
14. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
15. Мне 37, молодая и здоровая была, но за год постарела.
16. Живу с родителями.
17. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
18. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
19. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
20. Лиcтья свернулись и побелели после высадки в теплицу.
21. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
22. В Москве предупредили о возможных ограничениях связи.
23. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
24. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
25. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
26. Кейсы в CS2 и паки Fifa предложили запретить в России.
27. Совет по рассаде томатов.
28. Мне 19 лет.
29. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
30. Топ - 7 наборов семян, которые должны быть у каждого!
31. Легенды мирового рока украсили фасады домов в елизаветино.
32. HE поливайте, когда земля сухая!
33. Kак победить пырей на участке.
34. Пeченочные котлеты с необычным ингредиентом.
35. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
36. Пиpoжки: зaбытый стapый мaмин рeцепт.
37. Самый богатый бомж в мире!
38. Пepecтаньте борoться с мoкрицей!
39. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
40. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
41. Очищение сосудов головного мозга.
42. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
43. Мы применяем просроченные лекарства.
44. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
45. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
46. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
47. Полезная памятка средств для сада и огорода.
48. Лучший способ хранения чеснока.
49. Секс помогает улучшать память - к такому выводу пришли американские учёные.
50. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.