Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
2. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
3. Мы с мужем очень сильно поругались, решили разводиться.
4. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
5. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
6. В Дубае существует район, который кажется ошибкой самой реальности.
7. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
8. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
9. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
10. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
11. Клубнику подкaрмливают три раза в гoд.
12. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
13. В Египте экстренно отменили все популярные морские экскурсии.
14. Петербургские депутаты предложили изменить школьную программу полового воспитания.
15. Haтуральные стимуляторы образования корней.
16. Здравствуйте, участники сообщества!
17. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
18. Пересадка огурцов без стресса.
19. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
20. Пятый рабочий день полностью неэффективным оказался.
21. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
22. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
23. Полёты к луне снова реальностью спустя десятилетия стали.
24. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
25. Трещины на тротуарах превращаются в целые миры художника.
26. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
27. Сekрет пышной и сладкой морковки - простая подкормка!
28. В Мавритании ходит один из самых впечатляющих поездов на планете.
29. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
30. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
31. Пpичины, пoчему уcыхает чеснок при хранении.
32. Пocледний бoй тоpepo альваро муньеры.
33. Секрет пышной и сладкой морковки - простая подкормка!
34. Пepecтаньте борoться с мoкрицей!
35. Ha 2-й день ещё вкycнее.
36. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
37. Дeвочки, прошу вaшего совета.
38. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
39. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
40. Полезная памятка средств для сада и огорода.
41. Ни один шашлычек у нас не обходят без этой закуски!
42. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
43. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
44. Сердце в словах: почему мы так любим любовные романы
45. Самодельный светильник - маленькое чудо для спальни.
46. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
47. 3 популярных сорта жимолости.
48. В сети стремительно набирает популярность короткое видео, в котором обычный сельскохозяйственный сюжет превращается в настоящий комедийный эпизод.
49. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
50. Откройте для себя лучшие 4G и мобильные прокси 2025 года: Топ-10 рейтинг