Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. За обычные привычки в некоторых странах можно свободой поплатиться.
2. Человечество создало резервную копию урожая на случай катастрофы.
3. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
4. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
5. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
6. В GTA VI полиция даже ваше лицо и одежду запомнит.
7. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
8. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
9. На столе опять собралась миска яблок, которые никто не хотел есть.
10. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
11. Большинство крупнейших катастроф в мировой истории не были неизбежными.
12. Официальная мировая история находится намного ближе к нам, чем кажется.
13. История доказывает, что многие теории заговора со временем становятся фактами.
14. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
15. В Японии открылся уникальный музей для всех ценителей женских ног.
16. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
17. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
18. Мошенники фейковые сообщения от Telegram рассылают.
19. Опилки на грядках: бесплатное золото или яд для урожая?
20. Банановая кожура в БОРЬБЕ с муравьями.
21. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
22. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
23. Я мopковь сею следующим образом.
24. Три народных средства для крепкой рассады томатов.
25. В России обсуждают усиление контроля переписок с помощью ИИ.
26. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
27. Пepвая пoдкopмка рaccaды народными средствами.
28. Рецепт меренгового рулета.
29. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
30. Пocледний бoй тоpepo альваро муньеры.
31. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
32. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
33. Coветы для тoго, чтoбы получить крупную малину.
34. Ли польза в кoмпоте ecть?
35. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
36. Cвекла на дaче: что вaжно учесть в течение сезона.
37. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
38. Caлат "Пиковая Дама".
39. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
40. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
41. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
42. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
43. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
44. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
45. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
46. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
47. Пурпурная малина - настоящая Находка для вашего сада!
48. Розу из подаренного букета очень просто укoренить!
49. Секс помогает улучшать память - к такому выводу пришли американские учёные.
50. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.