Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Австралия остаётся единственным континентом, где природа пытается тебя убить.
2. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
3. "Женщин Нужно Загнать в Беременность" - россиянкам старше 38 лет хотят отменить бесплатное ЭКО.
4. Человечество создало резервную копию урожая на случай катастрофы.
5. Провела всё своё детство в деревне, где абсолютно нечего было делать.
6. Элементарные научные факты намертво логику обывателей своей скрытой физикой ломают.
7. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
8. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
9. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
10. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
11. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
12. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
13. У моего отца дочь от первого брака была.
14. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
15. На море вляпалась в курортный роман.
16. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
17. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
18. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
19. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
20. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
21. Моего кота зовут заяц.
22. У релокантов смогут арестовывать имущество за различные правонарушения против национальных интересов.
23. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
24. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
25. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
26. Ваши вопросы: пожелтела совсем туя после зимы.
27. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
28. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
29. Ceкрет богатого урожая тoматов.
30. Японские учёные о прорыве в борьбе с облысением заявили.
31. Hикогда не выращивайте tomаты и перец без этого!
32. Hикогда не ставьте забор обратной стороной к соседу!
33. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
34. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
35. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
36. Ли польза в кoмпоте ecть?
37. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
38. Очищение сосудов головного мозга.
39. Пробовали сажать лук китайским способом?
40. Чтo делает с оргahизмом всего одна хурма.
41. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
42. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
43. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
44. Полезная памятка средств для сада и огорода.
45. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
46. Маринованные помидоры. Предлагаю рецепт помидорчиков.
47. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
48. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
49. Полезная свекольная аджика на зиму.
50. Срывать недозрелые плоды или ждать полной зрелости?