Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Здравствуйте, oбращаюсь анoнимнo.
2. Пятый рабочий день полностью неэффективным оказался.
3. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
4. Одни из первых протезов использовали ещё в эпоху древнего Рима.
5. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
6. Первая обработка сада от паразитов весной: полный гайд.
7. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
8. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
9. Уже проснулись: как не встретить гадюку на любимых грядках.
10. Чем подкормить рассаду перца для мощных корней.
11. Cвeжий укроп всегда под рукoй.
12. Oгурцы будете рaздавать всем coceдям.
13. Секрет пышной и сладкой морковки - простая подкормка!
14. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
15. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
16. Стильное оформление квартиры.
17. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
18. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
19. Вкусный и ароматный салат "Парамониха" из свежих овощей.
20. Лучший способ хранения чеснока.
21. В России начались испытания новой вакцины против аллергии.
22. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
23. Пурпурная малина - настоящая Находка для вашего сада!
24. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
25. Чем мульчировать малину осенью для защиты корней?
26. В московских клиниках лечение на современном оборудовании нормой стало.
27. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
28. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
29. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
30. Вкусный рецепт бургера с курочкой.
31. Защита от муравьев.
32. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
33. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
34. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
35. Топ-5 лучших прокси для Instagram в 2025 году
36. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
37. Бесплатные SOCKS5 прокси: список для США и Китая
38. Обновляемый список публичных бесплатных прокси: всегда актуальные данные
39. Пирс броснан - известный актёр, а его жена кили Шэй Смит талантливая журналистка и активистка.
40. Чтобы сделать копатель траншей из трубы, вам потребуется немного инструментов и материалов, а также аккуратность и терпение.
41. Культурная жизнь Москвы: музеи, театры и фестивали
42. Прокси-серверы по странам: полный гид для начинающих
43. Какие современные технологии используются в музеях Курска
44. Какие основные музеи расположены в Кремле и что в них можно посмотреть
45. Какие необычные факты о Москве могут удивить даже местных жителей
46. Как создать вирусный Instagram челлендж: советы и секреты
47. Чем продезинфицировать теплицу и грунт перед новым сезоном.
48. 7 пирогов, которые сделают полноценным любой ужин.
49. Золотая пропорция: как определить идеальные формы тела
50. Расскажите о Зоопарке в Курск и его особенностях