Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
2. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
3. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
4. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
5. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
6. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
7. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
8. Россияне снова смогут оформлять иммиграционные визы в США.
9. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
10. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
11. Депутат Горелкин слухи о блокировке Steam в России развеял.
12. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
13. Переехали за город, как давно мечтали.
14. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
15. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
16. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
17. Формировка огурцов. 1. начинаю с нижней части.
18. Дочку с самого детства учила нести ответственность за свои поступки.
19. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
20. Средства для подкормки помидоров.
21. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
22. Добрый день! Вдруг кто с подобным … сталкивался.
23. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
24. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
25. Здравствуйте, участники сообщества!
26. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
27. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
28. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
29. Проект за 200 миллионов долларов превратился в странный город - призрак.
30. Первая обработка сада от паразитов весной: полный гайд.
31. Ваши вопросы: пожелтела совсем туя после зимы.
32. Советы дачникам. * Борная кислота:
33. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
34. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
35. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
36. Сekрет пышной и сладкой морковки - простая подкормка!
37. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
38. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
39. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
40. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
41. Самый богатый бомж в мире!
42. Убийцы paccaды. Что нельзя добавлять в грунт?
43. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
44. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
45. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
46. Малосольные помидорки по-армянски.
47. В московских клиниках лечение на современном оборудовании нормой стало.
48. Не люблю отдых дальше своего города.
49. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
50. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.