Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
2. Полёты к луне снова реальностью спустя десятилетия стали.
3. Три народных средства для крепкой рассады томатов.
4. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
5. Этой весной Россию накроет массовое нашествие комаров и клещей.
6. Ceйчас я делаю блинчики, которые тают во рту!
7. Дочь марии Шукшиной раскрыла боль семейных отношений.
8. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
9. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
10. На заметку садоводам.
11. Затяжная магнитная буря уже началась и продлится до конца декабря.
12. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
13. Начинайте готовить ягодные кустарники к зимовке.
14. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
15. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
16. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
17. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
18. Этот робот не просто убирает ваш дом - он его изучает.
19. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
20. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
21. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
22. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
23. Чем обработать теплицу осенью от болезней и вредителей?
24. Пурпурная малина - настоящая Находка для вашего сада!
25. Создавать уют своими руками - значит делать интерьер уникальным.
26. Создавать своими руками - значит делать вещи особенными.
27. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
28. Малосольные помидорки по-армянски.
29. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
30. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
31. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
32. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
33. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
34. Лучшие API и инструменты для веб-скраппинга 2025: что выбрать
35. Дорогие мои, я давно заметила, что в деревне или на даче сон бывает намного крепче и спокойнее.
36. Почему гниет клубника на грядках и как этого избежать.
37. Лучшие прокси для социальных сетей 2025: полное руководство
38. Топ-12 лучших шард-прокси 2025 года: рейтинг, отзывы, особенности
39. Белки - очень активные создания, но даже у них есть время для отдыха.
40. Бесплатные прокси-серверы высокой скорости: полный список
41. Дорогие мои, вот что нужно для вкусной редиски с ароматными специями:
42. Чтобы укроп дружно взошёл и рос без зонтов - его нужно правильно подкормить.
43. Мобильные прокси-серверы 2025: топ-15 для безопасного интернета
44. Самый продвинутый безопасный и бесплатный веб-прокси
45. Среди высоких многолетников можно обратить внимание на следующие виды:
46. Крем с йодом все морщинки уберет!
47. Секреты идеальной фигуры: как модели сохраняют свою форму
48. Секреты красивых девушек: как добиться идеальной фигуры
49. Что продавать на Amazon FBA в 2025: Тренды и возможности
50. Самые аппетитные и быстрые запеченные роллы!