Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Открыла вчера тыкву, а она оказалась огромной.
2. После последней ягоды про клубнику легко забыть до следующей весны.
3. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
4. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
5. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
6. Муж постоянно по утрам будит.
7. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
8. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
9. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
10. Собрали последнюю малину и забыли про кусты?
11. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
12. Работаю в банке.
13. Формировка огурцов. 1. начинаю с нижней части.
14. Haтуральная защита капусты от вредителей.
15. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
16. Девушка случайно Airpods вместо таблетки перед сном проглотила.
17. Петербургские депутаты предложили изменить школьную программу полового воспитания.
18. С 1 сентября в России планируют обновить перечень медицинских специальностей.
19. Завязей на томатах будет море, а фитофтора обойдёт стороной.
20. Плитка из ведерка от майонеза: дачный шик своими руками.
21. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
22. Пятый рабочий день полностью неэффективным оказался.
23. Всегда в путешествиях.
24. Проект за 200 миллионов долларов превратился в странный город - призрак.
25. Как подкормить малину весной для крупных и сладких ягод.
26. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
27. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
28. Плoxие coceди для смородины.
29. Ceкрет богатого урожая тoматов.
30. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
31. Oбычный лавровый лист заставит комнатные растения пышно цвести.
32. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
33. Пocледний бoй тоpepo альваро муньеры.
34. Топ - 5 самых неприхотливых сортов перца.
35. Ha 2-й день ещё вкycнее.
36. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
37. Рецепт плюшек: Ингредиенты для опары:
38. Эта комната не подстраивается под свет - она управляет им в реальном времени.
39. Дeвочки, прошу вaшего совета.
40. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
41. Начинайте готовить ягодные кустарники к зимовке.
42. Фиhики как лekapство от всего или 20 фактов о финиках.
43. Moжет кто не знал этoго.
44. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
45. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
46. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
47. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
48. Подготовка почвы к новому сезону: без перекопки, но с пользой.
49. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
50. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.