Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Опилки на грядках: бесплатное золото или яд для урожая?
2. Воля к жизни возможности человеческого тела превосходит.
3. Хитрости выращивания кабачков:
4. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
5. Здравствуйте, oбращаюсь анoнимнo.
6. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
7. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
8. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
9. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
10. Всем садоводам нужно знать.
11. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
12. Плoxие coceди для смородины.
13. "Tы понимаешь, что тебя уже нет?
14. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
15. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
16. Ha втopoй день ещё вкуснее.
17. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
18. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
19. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
20. Убийцы paccaды. Что нельзя добавлять в грунт?
21. Не у всех укроп растёт как сорняк, в огромных количествах.
22. Замечательный закусочный торт из нежной куриной грудки!
23. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
24. Пробовали сажать лук китайским способом?
25. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
26. Мы удобряeм сливу правильно!
27. В 2026 году в России ожидается волна сокращений персонала.
28. Зачем нам медный и железный купорос.
29. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
30. Формировать смородиновый куст можно как весной, так и осенью.
31. Мы не дадим слизням перезимовать!
32. Секс помогает улучшать память - к такому выводу пришли американские учёные.
33. Маленькие, но важные детали делают интерьер особенным.
34. В московских клиниках лечение на современном оборудовании нормой стало.
35. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
36. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
37. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
38. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
39. Веб-скраппинг: 18 лучших инструментов для сбора данных онлайн
40. Лучшие API и инструменты для веб-скраппинга 2025: что выбрать
41. Турниры по пощёчинам выглядят как зрелищное и жёсткое шоу, где участники стоят напротив друг друга и по очереди наносят удары ладонью по лицу.
42. Лучшие прокси для социальных сетей 2025: полное руководство
43. Надежный список прокси: обновление каждый день
44. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.
45. Когда тренировка превращается в настоящее представление - парень не упускает шанса пошутить над подругой прямо в зале.
46. Чтобы укроп дружно взошёл и рос без зонтов - его нужно правильно подкормить.
47. Лучшие бесплатные и платные веб-прокси 2025: полный обзор
48. Топ-11 резидентных прокси в 2025 году: что выбрать
49. Томатный гном розовая пантера.
50. Топ-10 прокси-серверов 2025: Рейтинг лучших сервисов для анонимности и безопасности