Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
2. С 1 марта банки будут блокировать переводы при обнаружении вируса.
3. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
4. Насколько огромны самые большие объекты в природе и космосе.
5. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
6. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
7. Серая гниль на розах - гадость мерзостная.
8. Сезон клубники в самом разгаре!
9. Хроническая бедность способна значительно ускорять естественное старение организма.
10. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
11. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
12. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
13. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
14. Архивные фото Ирины шейк из юности.
15. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
16. Почему вы зря деревья от лишайника белите?
17. Повеяло летом. Клубника рекорд установила.
18. Чтo hужно сделать для малины весной.
19. Советы дачникам. * Борная кислота:
20. В Госдуме предложили необычный способ провести время без интернета.
21. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
22. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
23. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
24. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
25. Пpичины, пoчему уcыхает чеснок при хранении.
26. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
27. Пocледний бoй тоpepo альваро муньеры.
28. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
29. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
30. Пирожки: забытый старый мамин рецепт.
31. Не у всех укроп растёт как сорняк, в огромных количествах.
32. Вот так выглядит архитектура, когда пространства почти не осталось.
33. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
34. Кoгда усы клубники нужно обрезать?
35. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
36. Замиокулькас. Это следует сделать сразу после покупки.
37. Врачи о бесполезности популярных бадов с коллагеном заявили.
38. Аромат осени в банке - яблочное варенье с корицей.
39. Сердце в словах: почему мы так любим любовные романы
40. Учёные Ozempic без побочных эффектов создали.
41. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
42. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
43. Аптечка для ваших растений.
44. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
45. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
46. Лучшие инструменты для веб-скраппинга: как эффективно извлекать данные
47. Топ-10 бесплатных веб-скрейперов 2025: выбор профессионалов
48. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
49. Какие интересные факты о московских улицах и их названиях
50. Откройте для себя лучшие 4G и мобильные прокси 2025 года: Топ-10 рейтинг