Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
2. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
3. Nasa показало вселенную с невероятным уровнем детализации.
4. После аварии моего мужа ниже пояса парализовало.
5. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
6. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
7. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
8. На столе опять собралась миска яблок, которые никто не хотел есть.
9. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
10. Пустая грядка в августе не обязана два месяца выращивать сорняки.
11. Мы с мужем очень сильно поругались, решили разводиться.
12. Сняли лук или ранний картофель и бросили голую грядку до весны?
13. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
14. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
15. "Обожаю" родню, кто бы знал ….
16. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
17. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
18. Большинство крупнейших катастроф в мировой истории не были неизбежными.
19. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
20. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
21. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
22. За долгое время наш мир сталкивался с невероятно странными событиями.
23. Сервис такси Bolt уволил всех кадровиков ради эффективности.
24. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
25. Важные правила подкормки, о которых нельзя забывать.
26. Гигантский астероид скоро рядом с землёй пройдёт.
27. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
28. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
29. Я мopковь сею следующим образом.
30. Три народных средства для крепкой рассады томатов.
31. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
32. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
33. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
34. Самый богатый бомж в мире!
35. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
36. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
37. Мы применяем просроченные лекарства.
38. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
39. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
40. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
41. Зачем нам медный и железный купорос.
42. Морозостойкие сорта гибридной хурмы.
43. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
44. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
45. Красивые садовые дорожки своими руками.
46. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
47. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
48. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
49. Мы готовим малинник к следующему сезону правильно!
50. Аптечка для ваших растений.