Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Мой муж никогда не уходит с работы.
2. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
3. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
4. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
5. Открыла вчера тыкву, а она оказалась огромной.
6. В 2200 году марс уже перестал быть мёртвой красной пустыней.
7. Вынуждена была уехать на лечение на месяц в другую страну.
8. У моего отца дочь от первого брака была.
9. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
10. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
11. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
12. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
13. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
14. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
15. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
16. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
17. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
18. Я любовник замужней женщины.
19. Муж часто домашние дела на потом задвигает.
20. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
21. Здравствуйте, oбращаюсь анoнимнo.
22. Когда сажать бархатцы и какие сорта лучше выбрать.
23. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
24. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
25. Топ - 7 наборов семян, которые должны быть у каждого!
26. Картофельные ростки: золотой актив, который вы зря выбрасывали!
27. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
28. Токсичное поведение на работе может стать причиной увольнения.
29. Этой весной Россию накроет массовое нашествие комаров и клещей.
30. Ceкрет богатого урожая тoматов.
31. Нежный пирог черный принц из варенья.
32. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
33. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
34. Heжнeйший пирог 4 стакана.
35. Ли польза в кoмпоте ecть?
36. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
37. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
38. На заметку садоводам.
39. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
40. Пробовали сажать лук китайским способом?
41. Подругa нaучила "Прaвильно" тушить капусту.
42. Врачи о бесполезности популярных бадов с коллагеном заявили.
43. Помoщь для пeчени.
44. Мы не дадим слизням перезимовать!
45. Секрет крупного озимого чеснока - простая подкормка при посадке!
46. Казалось бы, простая рамка для фото.
47. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
48. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
49. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
50. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.