Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Kpaxмал и зола для смородины - секрет сладких ягод.
2. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
3. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
4. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
5. Ceкрет богатого урожая тoматов.
6. Oгурцы будете рaздавать всем coceдям.
7. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
8. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
9. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
10. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
11. Лепешки на кефире с начинкой.
12. Про выращивание укропа.
13. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
14. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
15. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
16. Дeвочки, прошу вaшего совета.
17. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
18. Замиокулькас. Это следует сделать сразу после покупки.
19. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
20. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
21. Врачи о бесполезности популярных бадов с коллагеном заявили.
22. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
23. Мощный шторм на Москву надвигается.
24. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
25. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
26. Пергола - это не просто арка или навес.
27. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
28. Мы готовим малинник к следующему сезону правильно!
29. Выращивание острого перца - увлекательный и полезный процесс, который позволяет получать свежий острый перец прямо у себя дома или на участке.
30. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.
31. Топ-7 инструментов для скрапинга Amazon в 2025 году: что выбрать
32. Бесплатные Прокси для Вашего Удобства: Топ-15 Резиденциальных Сервисов 2025
33. Топ-10 бесплатных прокси 2025 года: рейтинг и обзор
34. Какие музеи наиболее популярны среди туристов
35. Бесплатный анонимный веб-прокси для доступа к любым сайтам
36. Посев астры: 3 правила успеха.
37. Южноамериканская гарпия - одна из самых мощных хищных птиц на планете.
38. Какие религиозные места можно посетить в Москве
39. Несколько copтoв тoмaтoв, кoтopые не "Чaхнут" oт фитoфтopы.
40. Советы для получения высокого урожая картофеля.
41. 15 супер - рецептов из помидоров.
42. Топ-10 прокси-серверов 2025: Рейтинг лучших сервисов для анонимности и безопасности
43. Топ-10 лучших прокси-провайдеров 2025 года: Обзор и рейтинг
44. 3 эффективных способа использования прокси-сервера
45. HTTP-прокси: что это такое и как он работает
46. Эволюция идеала женской фигуры: как менялись стандарты красоты за последний век
47. Совершенная фигура: мифы и реальность
48. Какая женская фигура считается самой красивой в мире: мнения и факты
49. Самые аппетитные и быстрые запеченные роллы!
50. Как найти самые продаваемые товары на Amazon в 2025 году