Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
2. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
3. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
4. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
5. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
6. Найти хорошую работу в России становится практически невозможно для большинства граждан.
7. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
8. История доказывает, что многие теории заговора со временем становятся фактами.
9. В Японии открылся уникальный музей для всех ценителей женских ног.
10. Так томаты в теплицу не просто так высаживают.
11. Обычные прогулки мощной поддержкой для организма оказались.
12. Плитка из ведерка от майонеза: дачный шик своими руками.
13. Здравствуйте, участники сообщества!
14. В России обновили правила сдачи экзаменов на водительские права.
15. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
16. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
17. Совет по рассаде томатов.
18. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
19. Hикогда не выpaщивайте tomаты и перец без этого!
20. Как подкормить малину весной для крупных и сладких ягод.
21. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
22. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
23. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
24. Японские учёные о прорыве в борьбе с облысением заявили.
25. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
26. Oбычный лавровый лист заставит комнатные растения пышно цвести.
27. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
28. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
29. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
30. Пробовали сажать лук китайским способом?
31. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
32. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
33. Oна есть у кaждого в саду … вeдьмина трава.
34. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
35. И еxaть никуда не нaдо.
36. А вы знали, что если у девушки долго не было Seksa, то она ….
37. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
38. Сердце в словах: почему мы так любим любовные романы
39. Создавать своими руками - значит делать вещи особенными.
40. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
41. Срывать недозрелые плоды или ждать полной зрелости?
42. Кто сказал, что шестиугольники только у пчёл?
43. Защита от муравьев.
44. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
45. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
46. Топ-10 лучших бесплатных инструментов для веб-скраппинга в 2025 году
47. Топ-11 прокси для Instagram в 2025: выбор профессионалов
48. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
49. Роза плетистая раубриттер - это популярный сорт розы, известный своей красивой и пышной цветочной формой.
50. Обновляемый список публичных бесплатных прокси: всегда актуальные данные