Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Уже нет сил постоянно ругаться со свекровью.
2. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
3. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
4. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
5. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
6. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
7. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
8. План для женщин, которые одиноки и ищут себе мужчину!
9. Муж часто домашние дела на потом задвигает.
10. В Египте экстренно отменили все популярные морские экскурсии.
11. Добрый день! Вдруг кто с подобным … сталкивался.
12. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
13. Обычные прогулки мощной поддержкой для организма оказались.
14. 10 худших цветов для дачи.
15. Я не люблю формулировку "мы Встречаемся".
16. В России запретят параллельный импорт компьютерной техники с 27 мая.
17. Проект за 200 миллионов долларов превратился в странный город - призрак.
18. Ваши вопросы: пожелтела совсем туя после зимы.
19. Три народных средства для крепкой рассады томатов.
20. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
21. Клещи - мутанты из Африки атакуют россиян.
22. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
23. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
24. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
25. Пpoбовали caжать лук китaйским спocoбом?
26. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
27. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
28. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
29. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
30. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
31. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
32. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
33. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
34. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
35. Насыпной пирог с творожной начинкой.
36. Это закуска на любом застолье на ура уходит!
37. Чем обработать теплицу осенью от болезней и вредителей?
38. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
39. Розу из подаренного букета очень просто укoренить!
40. Топ - 5 идей для уюта на даче осенью.
41. Малосольные помидорки по-армянски.
42. Учёные Ozempic без побочных эффектов создали.
43. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
44. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
45. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
46. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
47. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
48. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
49. Топ-9 инструментов для веб-скраппинга в 2025 году: что нового и что лучше
50. Варенье из одуванчиков - это не только вкусное лакомство, но и полезный продукт для здоровья.