Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
2. Мой способ подкормки молодой рассады томатов.
3. Клещи - мутанты из Африки атакуют россиян.
4. Горсть миндаля в день может заметно улучшить состояние кожи.
5. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
6. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
7. Kaким растениям зола не подходит.
8. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
9. Она растёт в каждом саду и называется ведьмина трава.
10. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
11. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
12. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
13. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
14. Этот пирог лучше, чем торт и вкуснее кекса.
15. Пpoще пpocтого! Никто не догадается как оно сделано!
16. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
17. Мы удобряeм сливу правильно!
18. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
19. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
20. Арапайма звучит как имя из глубокой древности, и недаром.
21. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
22. Moжет кто не знал этoго.
23. Нашим любимым подписчикам, дачникам и садоводам на заметку.
24. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
25. Сердце в словах: почему мы так любим любовные романы
26. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
27. Вкусный рецепт бургера с курочкой.
28. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
29. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
30. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
31. Топ-10 лучших бесплатных мгновенных данных
32. Топ-10 лучших бесплатных инструментов для веб-скраппинга в 2025 году
33. Откройте для себя лучшие 4G и мобильные прокси 2025 года: Топ-10 рейтинг
34. Как Выбрать Идеальные Прокси для Snapchat в 2025: Топ-16
35. Тренировки с резинками и ковриком - отличный способ развивать силу и выносливость, не перегружая суставы.
36. Бесплатный анонимный веб-прокси для доступа к любым сайтам
37. Шпаргалка, чтобы слива плодоносилa.
38. Полное руководство: как заказать товары из Amazon в Россию в 2025 году
39. Как заказать товары с Amazon в Москву: полное руководство
40. Лучшие прокси-сервисы 2025 года: Обзор и рейтинг
41. Чтобы укроп дружно взошёл и рос без зонтов - его нужно правильно подкормить.
42. Несколько copтoв тoмaтoв, кoтopые не "Чaхнут" oт фитoфтopы.
43. Какие основные музеи расположены в Кремле и что в них можно посмотреть
44. Как безопасно купить proxy для Инстаграм: советы и рекомендации
45. Есть ли в Калуге места для активного отдыха
46. Топ-10 лучших прокси-провайдеров 2025 года: Обзор и рейтинг
47. Секреты девушек с идеальной фигурой: как достичь своей мечты
48. Какие современные изменения произошли в архитектуре города
49. Творожный кулич без замеса теста и дрожжей.
50. Они провели для меня исследование продукта для Amazon FBA