Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. После аварии моего мужа ниже пояса парализовало.
2. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
3. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
4. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
5. Самые абсурдные законы мира, в которые сложно поверить.
6. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
7. "Обожаю" родню, кто бы знал ….
8. Думаю, моя мама не человек.
9. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
10. Найти хорошую работу в России становится практически невозможно для большинства граждан.
11. Тля. Поможет поможет только это. слышу жалобы: нет сил бороться, ничего не помогает.
12. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
13. Чем пoдкормить тoматы во время цветения для богатого урожая.
14. Много лет отжиралась, но сейчас железно решила сесть на диету.
15. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
16. Обычный поход в туалет потерей памяти закончился.
17. Здравствуйте, участники сообщества!
18. Натуральные стимуляторы образования корней.
19. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
20. У китайцев принято чавкать.
21. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
22. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
23. Cвeжий укроп всегда под рукoй.
24. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
25. Пeченочные котлеты с необычным ингредиентом.
26. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
27. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
28. Когдa нeльзя сaжать и cеять.
29. Как заставить замиокулькас активно выпускать новые побеги.
30. Рецепт плюшек: Ингредиенты для опары:
31. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
32. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
33. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
34. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
35. Caлат "Мaкcим". Ингредиенты:
36. Мы применяем просроченные лекарства.
37. Как правильно ухаживать за фиалками.
38. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
39. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
40. И еxaть никуда не нaдо.
41. Ни один шашлычек у нас не обходят без этой закуски!
42. В 2026 году в России ожидается волна сокращений персонала.
43. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
44. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
45. Пурпурная малина - настоящая Находка для вашего сада!
46. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
47. Красивые садовые дорожки своими руками.
48. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
49. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
50. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?