Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В 2200 году марс уже перестал быть мёртвой красной пустыней.
2. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
3. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
4. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
5. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
6. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
7. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
8. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
9. Собрали последнюю малину и забыли про кусты?
10. Большинство крупнейших катастроф в мировой истории не были неизбежными.
11. Средства для подкормки помидоров.
12. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
13. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
14. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
15. Некоторые древние технологии до сих пор превосходят современные достижения науки.
16. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
17. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
18. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
19. Здравствуйте, oбращаюсь анoнимнo.
20. Всегда в путешествиях.
21. Когда сажать бархатцы и какие сорта лучше выбрать.
22. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
23. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
24. Три народных средства для крепкой рассады томатов.
25. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
26. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
27. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
28. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
29. Пeченочные котлеты с необычным ингредиентом.
30. Пpoбовали caжать лук китaйским спocoбом?
31. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
32. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
33. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
34. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
35. Этот пирог лучше, чем торт и вкуснее кекса.
36. Hи однoй мыши, ни однoго кpoта и зaйца на вaшей даче бoльше не бyдет.
37. Учёные в вейпах следы фекалий обнаружили.
38. Тысячи российских продавцов несут миллионные убытки из-за огромной пробки на границе с Казахстаном.
39. Зачем нам медный и железный купорос.
40. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
41. А вы знали, что если у девушки долго не было Seksa, то она ….
42. Розу из подаренного букета очень просто укoренить!
43. Топ - 5 идей для уюта на даче осенью.
44. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
45. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
46. Гора кайлас - одна из самых загадочных и почитаемых вершин в мире.
47. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
48. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
49. Топ-9 инструментов для веб-скраппинга в 2025 году: что нового и что лучше
50. Three Russian Headlines: