Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
2. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
3. После последней ягоды про клубнику легко забыть до следующей весны.
4. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
5. Американец с самым крошечным пенисом в мире на увеличение пошёл.
6. Большая оранжевая тыква созрела ещё не обязательно.
7. Насколько огромны самые большие объекты в природе и космосе.
8. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
9. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
10. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
11. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
12. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
13. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
14. Формировка огурцов. 1. начинаю с нижней части.
15. Мощная подкормка для овощей: секрет огромного количества завязей.
16. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
17. План для женщин, которые одиноки и ищут себе мужчину!
18. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
19. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
20. Девушка случайно Airpods вместо таблетки перед сном проглотила.
21. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
22. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
23. Обычные прогулки мощной поддержкой для организма оказались.
24. Плитка из ведерка от майонеза: дачный шик своими руками.
25. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
26. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
27. В Москве предупредили о возможных ограничениях связи.
28. Священник стал маской, чтобы спасти детский приют и жизнь детей.
29. HE поливайте, когда земля сухая!
30. Фунчоза с овощами.
31. Hикогда не выращивайте tomаты и перец без этого!
32. Oбычный лавровый лист заставит комнатные растения пышно цвести.
33. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
34. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
35. Hacтойка, приготовленная по традиционному рецепту:
36. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
37. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
38. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
39. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
40. Березовый деготь в помощь дачникy.
41. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
42. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
43. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
44. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
45. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
46. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
47. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
48. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
49. Создать овальные подносы можно легко, используя только свои руки.
50. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.